INFO-SPIDER是一个集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。并提供数据分析功能，基于用户数据生成图表文件，使得用户更直观、深入了解自己的信息。目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、、博客园、CSDN博客、开源中国博客、简书。
主要特性
安全可靠：本项目为开源项目，代码简洁，所有源码可见，本地运行，安全可靠。使用简单：提供GUI界面，只需点击所需获取的数据源并根据提示操作即可。结构清晰：本项目的所有数据源相互独立，可移植性高，所有爬虫脚本在项目的Spiders文件下。数据源丰富：本项目目前支持多达24+个数据源，持续更新。数据格式统一：爬取的所有数据都将存储为json格式，方便后期数据分析。个人数据丰富：本项目将尽可能多地为你爬取个人数据，后期数据处理可根据需要删减。数据分析：本项目提供个人数据的可视化分析，目前仅部分支持。文档丰富：本项目包含完整全面的使用说明文档和视频教程快速上手
依赖安装
安装python3和Chrome浏览器安装与Chrome浏览器相同版本的驱动安装依赖库pipinstall-rrequirements.txt工具运行
进入tools目录运行python3main.py在打开的窗口点击数据源按钮,根据提示选择数据保存路径弹出的浏览器输入用户密码后会自动开始爬取数据,爬取完成浏览器会自动关闭.在对应的目录下可以查看下载下来的数据(xxx.json),数据分析图表(xxx.html)数据源
√GitHub√QQ邮箱√网易邮箱√阿里邮箱√新浪邮箱√Hotmail邮箱√Outlook邮箱√京东√淘宝√支付宝√中国移动√中国联通√中国电信√知乎√哔哩哔哩√网易云音乐√QQ好友√QQ群√生成朋友圈相册√浏览器浏览历史√√博客园√CSDN博客√开源中国博客√简书项目地址
开源
转载请注明地址:http://www.1xbbk.net/jwbzn/6407.html
