python怎么挖掘蛋卷基金投资组合数据分析

本文主要介绍"python怎么挖掘蛋卷基金投资组合数据分析" 有关的知识,希望能够解决您遇到有关问题,下面我们一起来看看这篇 "python怎么挖掘蛋卷基金投资组合数据分析" 文章。

一、网页分析

1、打开网页

我们随意打开一个蛋卷基金上投资组合的网页,例如:

python怎么挖掘蛋卷基金投资组合数据分析

这里以Microsoft Edge浏览器为例 。

2、查看json

选择“XHR”,发现有一个以基金编号命名的文件,单击它,查看请求标头。

点击下载查看详图

GET /djapi/plan/CSI1033 HTTP/1.1 Host: danjuanapp.com Connection: keep-alive sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="90", "Microsoft Edge";v="90" Accept: application/json, text/plain, */* sec-ch-ua-mobile: ?0 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36 Edg/90.0.818.62 elastic-apm-traceparent: 00-25105e3e8908ba33898b0f6cd57b8a73-c782a0e5122abe33-01 Sec-Fetch-Site: same-origin Sec-Fetch-Mode: cors Sec-Fetch-Dest: empty Referer: https://danjuanapp.com/strategy/CSI1033 Accept-Encoding: gzip, deflate, br Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6 Cookie: device_id=web_Skhu79T_v; acw_tc=2760774a16215745204941604e9286878fd10c566d03eedbbb0eb93c40e0f5; channel=undefined; xq_a_token=ccd9918c5b2c091c2d0dacb2e264963ba5fb7539; Hm_lvt_b53ede02df3afea0608038748f4c9f36=1621307606,1621428116,1621514481,1621574521; Hm_lpvt_b53ede02df3afea0608038748f4c9f36=1621574634; timestamp=1621574634698

发现好像没什么特别的,说不定没有反爬的机制 ,不如试着直接点开这个链接。

点击下载查看详图

原来这里面存的就是基金基本信息的json!
我们观察这个地址:

https://danjuanapp.com/djapi/plan/CSI1033

发现只要更改最后的编号,就可以获得各个基金的基本信息。

二、数据获取

1、观察json的结构

我们观察一下这个json的结构,这里只截取部分片段。

{ "data": { "plan_code": "CSI1033", "plan_name": "螺丝钉主动优选组合", "yield": "65.93", "yield_name": "成立以来收益", "yield_middle": "48.03", "yield_name_middle": "成立以来年化", …… "found_date": "2020-02-03", "manager_xq_id": "3079173340", "manager_name": "银行螺丝钉", "manager_profile_photo": "https://danjuan.aiganggu.com/o2020021580801637267.png", "invest_time_type": 2, "invest_time_name": "持有3年以上", "invest_money_type": 4, "invest_money_name": "积极增值", "found_days": 473, "min_buy_amount": "200", "plan_derived": { "end_date": "2021-05-20", "nav_grtd": "-0.03", "nav_grl1w": "2.38", …… "unit_nav": "1.6593", "yield_history": [{ "yield": "-12.02", "name": "近3个月" }, { "yield": "7.40", "name": "近6个月" }, { "yield": "42.25", ……

我们发现,所有数据都存在 “data” 下, “data” 里有基金的基本信息,当日净值存在 “plan_derived” 下的 “unit_nav” 里,那么我们只要按照这个顺序从中获取数据即可。

三、代码实现

1、基本操作

a. 需要使用的模块

用requests获取页面,用json库将json文件转化为字典。

import requests import json

b. 随便设置一个请求标头

header={     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36' }

c. 获取页面信息

这里的code为基金的代码,用requests获取页面以后读出具体的文本内容,存到page里。

code='CSI1033' url='https://danjuanapp.com/djapi/plan/'+code page=requests.get(url,headers=header).text

我们把page输出出来检查一下,发现我们想要的都在里面。

点击下载查看详图

d. 导入json

因为所有数据都在data里,所以我们直接进入data内即可。

items=json.loads(page) items=items.get("data")

e. 从json中获取需要的信息

基金的名字

name=items.get('plan_name')

基金的当日净值以及净值的记录日期
这些数据在“plan_derived”内。

value=items.get('plan_derived').get("unit_nav") date=items.get('plan_derived').get("end_date")

2、写一个可以重复使用的函数

我们以code作为传入的参数,把刚才的内容组合起来。

def getfund(code):     url='https://danjuanapp.com/djapi/plan/'+code     page=requests.get(url,headers=header).text     items=json.loads(page)     items=items.get("data")     value=items.get('plan_derived').get("unit_nav")     date=items.get('plan_derived').get("end_date")     name=items.get('plan_name')     print("基金编号:",code,'\n基金名:',name,"\n日期:",date,"净值:",value)

3、完整代码

#by concyclics import requests import json header={     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36' } danjuan=['CSI1033','CSI1032','CSI1038','CSI1029','CSI1006','CSI1065'] danjuan.sort() #获取当天信息 def getfund(code):     url='https://danjuanapp.com/djapi/plan/'+code     page=requests.get(url,headers=header).text     items=json.loads(page)     items=items.get("data")     value=items.get('plan_derived').get("unit_nav")     date=items.get('plan_derived').get("end_date")     name=items.get('plan_name')     print("基金编号:",code,'\n基金名:',name,"\n日期:",date,"净值:",value) if __name__=='__main__':     for code in danjuan:         getfund(code)

python怎么挖掘蛋卷基金投资组合数据分析

关于 "python怎么挖掘蛋卷基金投资组合数据分析" 就介绍到这。希望大家多多支持编程宝库

本文主要介绍"Python缺失值如何处理" 有关的知识,希望能够解决您遇到有关问题,下面我们一起来看看这篇 "Python缺失值如何处理" 文章。先构建一个含有缺失值的DataFrame,如下:import pa ...