Sec Hotspot 首页  排行榜  收藏本站  技术博客  RSS
统计信息
已收录文章数量:15724 篇
已收录公众号数量:90 个
本站文章为爬虫采集,如有侵权请告知
已收录微信公众号
网安寻路人 网信中国 区块链大本营 白说区块链 区块链投资家 区块链官微 区块链铅笔Blockchain HACK学习呀 二道情报贩子 合天智汇 小白帽学习之路 小米安全中心 弥天安全实验室 SAINTSEC SecPulse安全脉搏 TideSec安全团队 360安全卫士 游侠安全网 计算机与网络安全 安全祖师爷 安全学习那些事 腾讯安全联合实验室 黑客技术与网络安全 安全圈 腾讯御见威胁情报中心 Python开发者 Python之禅 编程派 Python那些事 Python程序员 安全威胁情报 吾爱破解论坛 行长叠报 安在 i春秋 嘶吼专业版 E安全 MottoIN 网信防务 网安杂谈 数说安全 互联网安全内参 漏洞战争 安全分析与研究 邑安全 ChaMd5安全团队 天融信阿尔法实验室 安全牛 SecWiki 安全学术圈 信安之路 漏洞感知 浅黑科技 Secquan圈子社区 奇安信集团 奇安信 CERT 国舜股份 雷神众测 盘古实验室 美团安全应急响应中心 瓜子安全应急响应中心 顺丰安全应急响应中心 蚂蚁金服安全响应中心 携程安全应急响应中心 滴滴安全应急响应中心 字节跳动安全中心 百度安全应急响应中心 腾讯安全应急响应中心 网易安全应急响应中心 OPPO安全应急响应中心 京东安全应急响应中心 Bypass CNNVD安全动态 安恒应急响应中心 天融信每日安全简报 奇安信威胁情报中心 看雪学院 黑白之道 水滴安全实验室 安全客 木星安全实验室 云鼎实验室 绿盟科技安全预警 白帽汇 深信服千里目安全实验室 腾讯玄武实验室 长亭安全课堂 FreeBuf 绿盟科技 nmask
一款爆红的开源爬虫工具箱
本文来自公众号:编程派   2020.10.22 11:40:46




点击上方“ 编程派 ”,选择设为“ 设为星标

优质文章,第一时间送达!

国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱——InfoSpider,一不小心就火了!!!



有多火呢?开源没几天就登上GitHub周榜第四,标星 1.3K ,累计分支 172 个(GitHub地址: https://github.com/kangvcar/InfoSpider

在这样一个信息爆炸的时代,每个人都有很多个账号,账号一多就会出现这么一个情况:个人数据分散在各种各样的公司之间,就会形成数据孤岛,多维数据无法融合, 这个项目可以帮你将多维数据进行融合并对个人数据进行分析,这样你就可以更直观、深入了解自己的信息。

InfoSpider 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息。



目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

根据创建者介绍, InfoSpider 具有以下特性:
  • 安全可靠: 本项目为开源项目,代码简洁,所有源码可见,本地运行,安全可靠。

  • 使用简单: 提供 GUI 界面,只需点击所需获取的数据源并根据提示操作即可。

  • 结构清晰: 本项目的所有数据源相互独立,可移植性高,所有爬虫脚本在项目的 Spiders 文件下。

  • 数据源丰富: 本项目目前支持多达24+个数据源,持续更新。

  • 数据格式统一: 爬取的所有数据都将存储为json格式,方便后期数据分析。

  • 个人数据丰富: 本项目将尽可能多地为你爬取个人数据,后期数据处理可根据需要删减。

  • 数据分析: 本项目提供个人数据的可视化分析,目前仅部分支持。


InfoSpider使用起来也非常简单,你只需要安装python3和Chrome浏览器,运行 python3 main.py,在打开的窗口点击数据源按钮, 根据提示选择数据保存路径,接着输入账号密码,就会自动爬取数据,根据下载的目录就可以查看爬下来的数据。

是不是很简单呢,如果你对InfoSpider也感兴趣,赶紧试一下。

来自:开源最前线(ID:OpenSourceTop)


回复下方 「关键词」 ,获取优质资源


回复关键词「 pybook03 」,立即获取主页君与小伙伴一起翻译的《Think Python 2e》电子版

回复关键词「 入门资料 」,立即获取主页君整理的 10 本 Python 入门书的电子版

回复关键词「 m 」,立即获取Python精选优质文章合集

回复关键词「 book 数字 」,将数字替换成 0 及以上数字,有惊喜好礼哦~


题图:pexels,CC0 授权。