LOGO OA教程 ERP教程 模切知识交流 PMS教程 CRM教程 开发文档 其他文档  
 
网站管理员

免费开源可视化爬虫软件 EasySpider

admin
2024年8月21日 0:8 本文热度 977
授权协议GPL
开发语言Python JavaScript HTML/CSS 查看源码
操作系统跨平台
软件类型开源软件
所属分类应用工具、 网络爬虫
开源组织
地区国产
投 递 者天际青年
适用人群未知
收录时间2023-05-22

软件简介

EasySpider 是一款完全免费和开源的可视化爬虫软件,此软件可以让大家使用图形化界面,无代码可视化的设计和执行爬虫任务。

只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以直接在命令行中通过传参的方式执行,从而可以很方便的嵌入到其他系统中。

V0.3.0 版本新增的功能,包括下载图片,元素截图,执行任意 JS 指令和系统命令,通过 JS 代码进行条件判断,OCR 识别等等功能,想要的功能应有尽有,而且这些功能完全免费!!!

以下是示例界面:

 

 

下载 EasySpider

进入 Releases Page:https://github.com/NaiboWang/EasySpider/releases 下载最新版本。

视频教程

1. EasySpider 介绍 - 中国地震台网采集案例:https://www.bilibili.com/video/BV1Fk4y1L7xX/

2. 如何无代码可视化的爬取需要登录才能爬的网站 - 知乎网站案例:https://www.bilibili.com/video/BV1HV4y1r7v8

3.【重要】自定义条件判断之使用循环项内的 JS 命令返回值:https://www.bilibili.com/video/BV1mu411x7Nn/

4. 流程图执行逻辑解析 - 58 同城房源描述采集案例:https://www.bilibili.com/video/BV1YL411z7uW

5. MacOS 系统设计和执行 eBay 网站爬虫任务教程:https://www.bilibili.com/video/BV1WL411h71r

6. 如何执行自己写的 JS 代码和系统代码 (自定义操作):https://www.bilibili.com/video/BV1qs4y1z7Hc/

7. 如何自定义循环和判断条件 - 第一弹:https://www.bilibili.com/video/BV1Ys4y1z777/

8. 如何对元素和网页截图及命令行执行指南:https://www.bilibili.com/video/BV1dV4y1z764/

9. OCR 识别元素内容功能:https://www.bilibili.com/video/BV1xz4y1b72D/

10. 如何爬需要输入验证码的网站:https://www.bilibili.com/video/BV18c411K7FH

11. 如何切换 IP 池和使用隧道 IP - 打开详情页采集案例:https://www.bilibili.com/video/BV1KT411t79n

文档

请点此进入教程文档,如有英文可暂时翻译一下,或看作者的硕士毕业论文(主要看第三章和第五章)。

Documentation can be found from GitHub Wiki.

为什么要用 EasySpider

相比其他可视化爬虫软件,EasySpider 有以下优势:

1. 代码开源,因此可以进行二次开发。

2. 完全免费,不同于八爪鱼等软件的 “免费”,EasySpider 是一个无需登录,无限多开,无限机器部署的软件,不需要向作者本人支付一分钱。(当然,EasySpider 受到专利保护,因此如果要商用,还请联系浙江大学天道专利事务所)。相比之下,其他软件的免费有诸多限制,具体可以看他们的价格详情页。

3. 安全,所有信息完全保存在用户本地,包括任务和采集的数据,不用担心数据泄露问题。

4. 跨平台:同时支持 Windows,Linux 和 MacOS。

5. 速度快,通常一个爬虫任务只需要 2-5 分钟即可设计完成,采集速度也快,通常取决于具体机器环境。

6. 更加灵活,保存的浏览器配置信息更多,最重要的是可扩展,自由的安装各种插件,比如验证码识别插件。

7. 可以直接以命令行的方式执行,无限部署在任何想要部署的机器中。

8. 可以在任务流程中执行自定义的指令,包括 JavaScript 指令以及系统级别指令,这个是目前所有的可视化爬虫软件都做不到或者不愿意做的事情。

9. V0.3.0 版本新增的功能,包括元素截图,执行任意 JS 指令和系统命令,OCR 识别等等功能,想要的功能应有尽有,而且这些功能完全免费!!!

从需求导向来说,爬虫算是一项基本的需求,我们经常需要去爬一些网上的信息,比如对于科研工作者,爬取维基百科语料库进行训练是做 NLP 的同学经常做的事情;做社交网络分析的同学经常需要爬取 Twitter 和微博的信息;做推荐系统的同学会去爬购物网站的信息等等。市面上爬虫需求很多,这里就不在赘述了。有了 EasySpider,不管大家之前会不会写爬虫,现在都可以不需要费心费力的写代码了。

 

 

  

  

  

  

  

  

 


该文章在 2024/8/21 9:11:57 编辑过
关键字查询
相关文章
正在查询...
点晴ERP是一款针对中小制造业的专业生产管理软件系统,系统成熟度和易用性得到了国内大量中小企业的青睐。
点晴PMS码头管理系统主要针对港口码头集装箱与散货日常运作、调度、堆场、车队、财务费用、相关报表等业务管理,结合码头的业务特点,围绕调度、堆场作业而开发的。集技术的先进性、管理的有效性于一体,是物流码头及其他港口类企业的高效ERP管理信息系统。
点晴WMS仓储管理系统提供了货物产品管理,销售管理,采购管理,仓储管理,仓库管理,保质期管理,货位管理,库位管理,生产管理,WMS管理系统,标签打印,条形码,二维码管理,批号管理软件。
点晴免费OA是一款软件和通用服务都免费,不限功能、不限时间、不限用户的免费OA协同办公管理系统。
Copyright 2010-2024 ClickSun All Rights Reserved