基本信息
源码名称:python爬取百度迁徙数据
源码大小:2.52KB
文件格式:.py
开发语言:Python
更新时间:2021-09-18
友情提示:(无需注册或充值,赞助后即可获取资源下载链接)
嘿,亲!知识可是无价之宝呢,但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下,绝对物超所值哦!如有下载和支付问题,请联系我们QQ(微信同号):813200300
本次赞助数额为: 5 元×
微信扫码支付:5 元
×
请留下您的邮箱,我们将在2小时内将文件发到您的邮箱
源码介绍
直接输入日期爬取全国热门城市人口迁徙数据
import requests import time import pandas as pd import datetime # 百度迁移方向 0迁入,1迁出 MOVE = ('move_in', 'move_out') CITY = {'上海': '310000', '南京': '320100', '无锡': '320200', '常州': '320400', '苏州': '320500', '南通': '320600', '扬州': '321000', '镇江': '321100', '泰州': '321200', '杭州': '330100', '宁波': '330200', '嘉兴': '330400', '湖州': '330500', '绍兴': '320600', '舟山': '330900', '合肥': '340100', '芜湖': '340200', '马鞍山': '340500', '铜陵': '340700', '安庆': '340800', '池州': '341700', '南昌': '360100', '九江': '360400', '武汉': '420100', '黄石': '420200', '宜昌': '420500', '襄阳': '420600', '鄂州': '420700', '荆州': '421000', '黄冈': '421100', '咸宁': '421200', '恩施': '422800', '岳阳': '430600', '重庆': '500000', '成都': '510100', '攀枝花': '510400', '泸州': '510500', '宜宾': '511500'} def get_data_from_url(url): print('请求http数据', url) resp = requests.get(url, timeout=5) j = resp.json() if j['errmsg'] == 'SUCCESS': data_list = j['data']['list'] return data_list else: print('请求服务器数据失败!') return None def get_data(city_code, direction, date): if city_code is None: # 根据日期获取当前全国热门的迁入/迁出城市 url_nation = f'http://huiyan.baidu.com/migration/cityrank.json?dt=country&id=0&type={direction}&date={date}' return get_data_from_url(url_nation) else: # 根据城市码和日期获取当前城市的迁入/迁出数据 url_city = f'http://huiyan.baidu.com/migration/cityrank.json?dt=city&id={city_code}&type={direction}&date={date}' return get_data_from_url(url_city) def get_date(year, month, day): d = datetime.date(year, month, day) return d.__format__('%Y%m%d') def main(): # 拼接特定日期,年月日 date = get_date(2020, 11, 11) # 获取给定日期全国热门城市迁入/迁出数据 data = get_data(city_code=None, direction=MOVE[0], date=date) df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value']) df.to_excel('1.xls', encoding='utf-8') # 数据写入excel文件 time.sleep(3) if __name__ == '__main__': main()