银珠爬虫1.0版

编辑: 点击量: 107
银珠爬虫1.0版

银珠爬虫1.0版,主要功能1、ip代理添加2、文章抓取3、微信公众号文章抓取


登录窗口
代理窗口
公众号抓取窗口
文章列表窗口包括:公司文章、微信公众号、微博文章
活动列表窗口
文章抓取窗口
活动抓取窗口
公司列表窗口
公司添加窗口
规则列表窗口
规则添加和编辑窗口


关于我们窗口




银珠爬虫1.0版
网络数据采与分析集器


框架特点:
1、为具备一定html基础的用户提供只需关注规则定制、功能完备的重量级爬虫工具;
2、支持单机、服务端、客户端三种运行模式;
3、GUI(Windows)、Web、Cmd 三种操作界面,可通过参数控制打开方式;
4、支持状态控制,如暂停、恢复、停止等;
5、可控制采集量;
6、可控制并发协程数;
7、支持多采集任务并发执行;
8、支持代理IP列表,可控制更换频率;
9、支持采集过程随机停歇,模拟人工行为;
10、根据规则需求,提供自定义配置输入接口
11、有sqlServer、excel原文件下载共五种输出方式;
12、支持分批输出,且每批数量可控;
13、持久化成功记录,便于自动去重;
14、序列化失败请求,支持反序列化自动重载处理;
15、采用surfer高并发下载器,支持 GET/POST/HEAD 方法及 http/https 协议,同时支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式,高度模拟浏览器行为,可实现模拟登录等功能;

服务器/客户端模式采用全双工长连接通信,内部数据传输格式为JSON。
主要功能
一、文件抓取
1、公众号抓取
2、网站文章抓取
3、公众号文章抓取
4、微博文章抓取
5、企业活动抓取
二、代理
1、手动添加代理
2、自动抓取代理
3、代理检测
三、设置
四、excel导出
1、公众号导出
2、公众号文章导出
3、网站来源导出
4、文章列表导出
5、活动数据导出
五、帮助
六、退出

现在开始使用银珠数据采集器
从第一条数据开始,感受前所未有的采集体验!

软件特点:
1、本子软件采用多线程机制开发,解决页面卡顿,
2、数据采用代理机制抓取解决被封
陆续功能开发中、、、、、、

开发语言:

.net 4.0

c# winform

数据库:

SqlServer

iyinzhu.com出品
有需要者可与本人联系!
联系电话:15611055661
邮箱:liyinzhu@live.com
微信:ichenchunyan

内容的评论 3


王皓

Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat

王皓

Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat

王皓

Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat

发表评论

提交评论