【免费】可视化浏览器自动化测试/数据采集/爬虫软件(易采集/EasySpider)

开源一个可视化浏览器自动化测试/数据采集/爬虫软件,可以使用图形化界面,无代码可视化的设计和执行任务。只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行。同时软件还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。A visual browser automation test/data collection/crawler software, which can be us

2024年04月09日 00:24 阅读时长: 13 分钟 共 5009 字 作者: caod
主页 » 运营工具 » 【免费】可视化浏览器自动化测试/数据采集/爬虫软件(易采集/EasySpider)

开源:https://github.com/NaiboWang/EasySpider

一个可视化浏览器自动化测试/数据采集/爬虫软件,可以使用图形化界面,无代码可视化的设计和执行任务。只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行。同时软件还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。

A visual browser automation test/data collection/crawler software, which can be used to design and execute tasks in a code-free visual way. You only need to select the content you want to operate on the web page and follow the prompts to complete the design and execution of the task. At the same time, the software can also be executed separately in the command line, so that it can be easily embedded into other systems.

 animation_zh.gif

官方网站/Official Website

访问易采集官网:www.easyspider.cn

Visit the official website of EasySpider: www.easyspider.net

示例1/Example 1

(右键)选中一个大商品块 -> 软件自动检测到同类型商品块 -> 点击“选中全部”选项 -> 点击“选中子元素”选项 -> 点击“采集数据”选项,即可采集到所有商品的所有信息,并分成不同字段保存。

(Right click) Select a large product block -> The software will automatically detect similar blocks -> Click the 'Select All' option -> Click the 'Select Child Elements' option -> Click the 'Collect Data' option, you can collect the information of all products, and will be saved by sub-field.

示例2/Example 2

(右键)选中一个商品标题,同类型标题会被自动匹配,点击“选中全部”选项 -> 点击“采集数据”选项,即可采集到所有商品的标题信息。

同时,选中全部后如果选择“循环点击每个元素”选项,即可自动打开每个商品的详情页,然后可以再继续设置采集详情页的信息。

(Right Click) Select a product title, the same type of title will be automatically matched, click the 'Select All' option -> Click the 'Collect Data' option, you can collect the title information of all products.

At the same time, if you select the 'Loop-click every element' option after selecting all, you can automatically open the details page of each product, and then can set to collect the information of the details page.

 

教程导航

 

Issues中的文档和示例(作为下面教程的补充)

https://github.com/NaiboWang/EasySpider/issues?q=label%3Adocumentation+

EasySpider介绍:中国地震台网采集案例

https://www.bilibili.com/video/BV1th411A7ey/

设置页面向下滚动

https://www.bilibili.com/video/BV1G14y1o7Qa/

如何爬取需要登录才能爬的网站

https://www.bilibili.com/video/BV1BN411t71C/

循环点击列表中每个链接进入详情页采集详情页内容+设计时动态调试+动态JS

https://www.bilibili.com/video/BV12V411D7RZ/

实战采集汽车网文章内容并下载文章内图片

https://www.bilibili.com/video/BV14u4y1x7S5/

Ebay样例博客

https://blog.csdn.net/ihero/article/details/130805504

多种选中子元素模式区别展示+将最后一次提取到的数据作为变量进行输入+定时执行任务展示

https://www.bilibili.com/video/BV1N94y1a7Lp/

【重要】自定义条件判断之使用循环项内的JS命令返回值

https://www.bilibili.com/video/BV18C4y1V7J7/

如何执行自己写的JS代码和系统代码 (自定义操作)

https://www.bilibili.com/video/BV1UH4y1f7BM/

如何自定义循环和判断条件

https://www.bilibili.com/video/BV18w411a77e/

如何对元素和网页截图及命令行执行指南

https://www.bilibili.com/video/BV1ch4y1E7cn/

OCR识别元素内容功能

https://www.bilibili.com/video/BV1GP411y7u4/

如何爬需要输入验证码的网站

https://www.bilibili.com/video/BV1Rw411C7Hs/

如何切换IP池和使用隧道IP - 打开详情页采集案

https://www.bilibili.com/video/BV1zw411w7BN/

流程图执行逻辑解析 - 58同城房源描述采集案例

https://www.bilibili.com/video/BV14N4y1o73Y/

MacOS系统设计和执行eBay网站爬虫任务教程

https://www.bilibili.com/video/BV1E34y137fT/

如何定时执行任务

https://github.com/NaiboWang/EasySpider/issues/22

如何通过API调用来获得任务执行ID

https://github.com/NaiboWang/EasySpider/wiki/API-Invoke-Example

如何使用命令行执行任务|Commandline Arguments Instruction

https://github.com/NaiboWang/EasySpider/issues/28

https://github.com/NaiboWang/EasySpider/wiki/Argument-Instruction

任务流程有多个提取数据操作时,软件的执行和输出逻辑

https://github.com/NaiboWang/EasySpider/issues/35

并行多开,同时执行多个任务教程

https://www.bilibili.com/video/BV1Dj411b77M/

当前循环项包含元素的XPATH的写法

https://github.com/NaiboWang/EasySpider/wiki/%E5%BD%93%E5%89%8D%E5%BE%AA%E7%8E%AF%E9%A1%B9%E5%8C%85%E5%90%AB%E5%85%83%E7%B4%A0%E7%9A%84XPATH%E7%9A%84%E5%86%99%E6%B3%95

python代码运算后的结果作为文本框的输入

https://www.bilibili.com/video/BV1kF411R7VJ/

Cloudflare反爬处理(已失效)

https://www.bilibili.com/video/BV1Ph4y1E7R9/

MySQL数据库写入教程

https://www.bilibili.com/video/BV1os4y1679S/

Exec和Eval模式使用教程

https://github.com/NaiboWang/EasySpider/wiki/EXEC%E5%92%8CEVAL%E7%94%A8%E6%B3%95%E7%A4%BA%E4%BE%8B

执行JavaScript语句时用正则表达式示例

https://github.com/NaiboWang/EasySpider/wiki/%E6%89%A7%E8%A1%8CJavaScript%E8%AF%AD%E5%8F%A5%E6%97%B6%E7%94%A8%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E7%A4%BA%E4%BE%8B

调整浏览器窗口大小&最大化浏览器窗口

https://github.com/NaiboWang/EasySpider/wiki/%E8%B0%83%E6%95%B4%E6%B5%8F%E8%A7%88%E5%99%A8%E7%AA%97%E5%8F%A3%E5%A4%A7%E5%B0%8F&%E6%9C%80%E5%A4%A7%E5%8C%96%E6%B5%8F%E8%A7%88%E5%99%A8%E7%AA%97%E5%8F%A3

操作台挡住登录页面的处理办法

https://github.com/NaiboWang/EasySpider/wiki/%E6%93%8D%E4%BD%9C%E5%8F%B0%E6%8C%A1%E4%BD%8F%E7%99%BB%E5%BD%95%E9%A1%B5%E9%9D%A2%E7%9A%84%E5%A4%84%E7%90%86%E5%8A%9E%E6%B3%95

循环次数设定(包括无限循环)及检测到页面内容才提取数据

https://github.com/NaiboWang/EasySpider/wiki/%E5%BE%AA%E7%8E%AF%E6%AC%A1%E6%95%B0%E8%AE%BE%E5%AE%9A%EF%BC%88%E5%8C%85%E6%8B%AC%E6%97%A0%E9%99%90%E5%BE%AA%E7%8E%AF%EF%BC%89%E5%8F%8A%E6%A3%80%E6%B5%8B%E5%88%B0%E9%A1%B5%E9%9D%A2%E5%86%85%E5%AE%B9%E6%89%8D%E6%8F%90%E5%8F%96%E6%95%B0%E6%8D%AE

无下一页按钮只有具体页面按钮时的翻页方法(EXEC和EVAL教程)

https://github.com/NaiboWang/EasySpider/wiki/%E6%97%A0%E4%B8%8B%E4%B8%80%E9%A1%B5%E6%8C%89%E9%92%AE%E5%8F%AA%E6%9C%89%E5%85%B7%E4%BD%93%E9%A1%B5%E9%9D%A2%E6%8C%89%E9%92%AE%E6%97%B6%E7%9A%84%E7%BF%BB%E9%A1%B5%E6%96%B9%E6%B3%95%EF%BC%88EXEC%E5%92%8CEVAL%E6%95%99%E7%A8%8B%EF%BC%89


相关文章

cpolar+AI编程用来调试支付太好用了

先看看它有什么用?


启动本地Web网站后,cpolar通过将其指向运行本地服务器的端口来启动:

三角洲行动微信下单小程序,根据需求打造(代哥说出品)

三角洲行动微信下单小程序,根据需求打造。如果说我们真的需要这么一款三角洲点单的平台小程序。那么就可以看看这一款,那么这个的话是根据我刚开始通过咸鱼上去找,然后发现很多平台都不适用于三角洲,然后我就开发了一个这样子的小程序。包含了一些选择安全箱啊,选择填写角色名等等。这样子的话,设计就更加的偏向于三角洲行动这款游戏。对于用户而言和打手而言,它的那个用户体验感会好很多。因为他直接在选择四格的时候,他会给打手加5块钱,然后选择两格的时候是加10块钱。这样子的话,别人也会愿意接单。不然的话显得特别马上就

python脚本实现生成SEO文章

已优化文章生成脚本p.py。请执行以下命令开始生成文章:

image.png

批量去除txt指向内容(支持多个文字清除)免费

批量去除txt指向内容(支持多个文字清除)这个这个工具真的没什么很多的其他的没什,它只是单方面的去除。当下文件夹下面的待处理中的文件,txt文件。我们其实可以通过上面这张图就可以清晰的看出来,它就是处理。Txt文件的,那么我们只需要在下面输入要去除的。文字,然后回车,它就会马上帮你处理完甚至上百上千个。Txt非常高效。重点还是免费的!!!

批量去除txt标题乱七八糟的符号!方便SEO,(python代码)

批量去除标题乱七八糟的符号!python工具!

image.png

批量替换mysql指定数据库内容

需求:我需要批量的替换掉 表: zbp_post 中 log_Content 中的:加客服微信(daiitt 处理)内容为(dgidtt处理)我们可以先查一下;SELECT log_ID, log_Content  FROM zbp_post WHERE log_Content LIKE '%daiitt%';你可以使用 UPDATE 语句批量替换指定内容。以下是一个示例 SQL 语句,用于将表 zbp_pos

评论列表 (0)

发表评论