基本信息
源码名称:python爬取百度迁徙数据
源码大小:2.52KB
文件格式:.py
开发语言:Python
更新时间:2021-09-18
友情提示:(无需注册或充值,赞助后即可获取资源下载链接)
嘿,亲!知识可是无价之宝呢,但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下,绝对物超所值哦!如有下载和支付问题,请联系我们QQ(微信同号):78630559
本次赞助数额为: 5 元×
微信扫码支付:5 元
×
请留下您的邮箱,我们将在2小时内将文件发到您的邮箱
源码介绍
直接输入日期爬取全国热门城市人口迁徙数据
import requests
import time
import pandas as pd
import datetime
# 百度迁移方向 0迁入,1迁出
MOVE = ('move_in', 'move_out')
CITY = {'上海': '310000',
'南京': '320100',
'无锡': '320200',
'常州': '320400',
'苏州': '320500',
'南通': '320600',
'扬州': '321000',
'镇江': '321100',
'泰州': '321200',
'杭州': '330100',
'宁波': '330200',
'嘉兴': '330400',
'湖州': '330500',
'绍兴': '320600',
'舟山': '330900',
'合肥': '340100',
'芜湖': '340200',
'马鞍山': '340500',
'铜陵': '340700',
'安庆': '340800',
'池州': '341700',
'南昌': '360100',
'九江': '360400',
'武汉': '420100',
'黄石': '420200',
'宜昌': '420500',
'襄阳': '420600',
'鄂州': '420700',
'荆州': '421000',
'黄冈': '421100',
'咸宁': '421200',
'恩施': '422800',
'岳阳': '430600',
'重庆': '500000',
'成都': '510100',
'攀枝花': '510400',
'泸州': '510500',
'宜宾': '511500'}
def get_data_from_url(url):
print('请求http数据', url)
resp = requests.get(url, timeout=5)
j = resp.json()
if j['errmsg'] == 'SUCCESS':
data_list = j['data']['list']
return data_list
else:
print('请求服务器数据失败!')
return None
def get_data(city_code, direction, date):
if city_code is None:
# 根据日期获取当前全国热门的迁入/迁出城市
url_nation = f'http://huiyan.baidu.com/migration/cityrank.json?dt=country&id=0&type={direction}&date={date}'
return get_data_from_url(url_nation)
else:
# 根据城市码和日期获取当前城市的迁入/迁出数据
url_city = f'http://huiyan.baidu.com/migration/cityrank.json?dt=city&id={city_code}&type={direction}&date={date}'
return get_data_from_url(url_city)
def get_date(year, month, day):
d = datetime.date(year, month, day)
return d.__format__('%Y%m%d')
def main():
# 拼接特定日期,年月日
date = get_date(2020, 11, 11)
# 获取给定日期全国热门城市迁入/迁出数据
data = get_data(city_code=None, direction=MOVE[0], date=date)
df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])
df.to_excel('1.xls', encoding='utf-8') # 数据写入excel文件
time.sleep(3)
if __name__ == '__main__':
main()