首页 > 编程语言 > python

编程语言python爬虫——抖音数据

admin python 2021-05-25 09:26:11 爬虫 数据 python 
后台-系统设置-扩展变量-手机广告位-内容正文底部

最近挺火的抖音短视频,不仅带火了一众主播,连不少做电商的也进驻其中,于是今天我来扒一扒这火的不要不要的抖音数据:

一、抓包工具获取用户ID

对于手机app数据,抓包是最直接也是最常见的手段,常用的抓包工具就有:charles、fiddler、wireshark、httpwatch等等,本文使用charles进行抓包。

charles抓包工具使用教程:charles使用教程

此时,手机已经连上电脑,并可以正常抓包。

1、打开手机抖音app,在搜索框输入目标用户(例如:棚棚朱古力):

2、选中想要的用户点击进去用户详情页:

3、抓包工具上找到对应的数据,并获取用户ID:

二、根据用户ID获取用户数据,分别有:总点赞数、用户显示ID、作品数、喜欢数、关注数、粉丝数等用户详细数据。

代码如下:

def%20get_love_num(shape_id): %20%20%20%20''' %20%20%20%20获取除置顶外前十视频的点赞数 %20%20%20%20:param%20shape_id: %20%20%20%20:return: %20%20%20%20''' %20%20%20%20sign_%20=%20"HunHKQABfpAtN81GL5ujHx7pvd" %20%20%20%20url%20=%20f"https://www.iesdouyin.com/web/api/v2/aweme/post/?sec_uid={shape_id}&count=100&max_cursor=0&aid=1128&_signature={sign_}" %20%20%20%20resp%20=%20requests.get(url) %20%20%20%20resp_result%20=%20resp.json() %20%20%20%20#%20print(resp_result) %20%20%20%20love_num_list%20=%20[] %20%20%20%20awe_list%20=%20resp_result['aweme_list'] %20%20%20%20for%20awe_dict%20in%20awe_list[:10]: %20%20%20%20%20%20%20%20try: %20%20%20%20%20%20%20%20%20%20%20%20love_num%20=%20awe_dict['statistics']['digg_count'] %20%20%20%20%20%20%20%20except: %20%20%20%20%20%20%20%20%20%20%20%20love_num%20=%200 %20%20%20%20%20%20%20%20love_num_list.append(love_num) %20%20%20%20return%20love_num_list

运行结果:

三、下载不带水印的视频:

1、获取视频连接:

def%20get_love_num(shape_id): %20%20%20%20''' %20%20%20%20获取除置顶外前十视频的点赞数 %20%20%20%20:param%20shape_id: %20%20%20%20:return: %20%20%20%20''' %20%20%20%20sign_%20=%20"HunHQBAfpZtH8RGL3ujHf7pau" %20%20%20%20url%20=%20f"http://www.iesdouyin.com/web/api/v1/aweme/post/?sec_uid={shape_id}&count=6&max_cursor=0&aid=1128&_signature={sign_}" %20%20%20%20#%20print(url) %20%20%20%20resp%20=%20requests.get(url) %20%20%20%20resp_result%20=%20resp.json() %20%20%20%20love_num_list%20=%20[] %20%20%20%20awe_list%20=%20resp_result['aweme_list'] %20%20%20%20for%20awe_dict%20in%20awe_list[:10]: %20%20%20%20%20%20%20%20try: %20%20%20%20%20%20%20%20%20%20%20%20love_num%20=%20awe_dict['statistics']['digg_count'] %20%20%20%20%20%20%20%20%20%20%20%20video_desc%20=%20awe_dict['desc'] %20%20%20%20%20%20%20%20%20%20%20%20video_link%20=%20awe_dict['video']['play_addr']['url_list'][0] %20%20%20%20%20%20%20%20%20%20%20%20download_video(video_desc,video_link) %20%20%20%20%20%20%20%20except: %20%20%20%20%20%20%20%20%20%20%20%20love_num%20=%200 %20%20%20%20%20%20%20%20%20%20%20%20video_desc%20=%20"" %20%20%20%20%20%20%20%20%20%20%20%20video_link%20=%20"" %20%20%20%20%20%20%20%20love_num_list.append((love_num,video_desc,video_link)) %20%20%20%20return%20love_num_list def%20download_video(video_desc,video_link): %20%20%20%20''' %20%20%20%20下载视频 %20%20%20%20:param%20video_desc:%20 %20%20%20%20:param%20video_link:%20 %20%20%20%20:return:%20 %20%20%20%20''' %20%20%20%20try: %20%20%20%20%20%20%20%20resp%20=%20requests.get(video_link) %20%20%20%20%20%20%20%20with%20open(f"./{video_desc}.mp4","w")%20as%20f: %20%20%20%20%20%20%20%20%20%20%20%20f.write(resp.text) %20%20%20%20except%20Exception%20as%20e: %20%20%20%20%20%20%20%20print(e)

2、下载视频保存到本地:

以上就是我的分享,如果有什么不足之处请指出,多交流,谢谢!

如果喜欢,请关注我的博客:https://home.cnblogs.com/u/qiuwuzhidi

想获取更多数据请点击抖音源数据或定制爬虫的请点击python爬虫专业定制

文章来源:https://www.cnblogs.com/qiuwuzhidi/p/14764845.html

后台-系统设置-扩展变量-手机广告位-内容正文底部
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
本文地址:https://www.jcdi.cn/pythonjc/30779.html

留言与评论(共有 0 条评论)
   
验证码:
后台-系统设置-扩展变量-手机广告位-评论底部广告位

教程弟

https://www.jcdi.cn/

统计代码 | 京ICP1234567-2号

Powered By 教程弟 教程弟

使用手机软件扫描微信二维码