八爪鱼采集器,是一款通用性网页采集软件,可视化所现即所得操作,无须编程能力,即可采集任意网页数据。并提供分布式云采集增值服务,支持高并发大存储采集。2013年上线,现版本已经更新到5.1版,10W用户使用。常见采集场景包括QQ号码,电话号码,手机号码采集,邮箱采集,文章采集,客户资源采集,网页图片采集,淘宝买家卖家商品采集,与织梦DEDE,WORDPRESS,DISCUZ,完美兼容。
八爪鱼采集器,是一款通用性网页采集软件,可视化所现即所得操作,无须编程能力,即可采集任意网页数据。并提供分布式云采集增值服务,支持高并发大存储采集。2013年上线,现版本已经更新到5.1版,10W用户使用。常见采集场景包括QQ号码,电话号码,手机号码采集,邮箱采集,文章采集,客户资源采集,网页图片采集,淘宝买家卖家商品采集,58同城赶集百姓分类信息采集,与织梦DEDE,WORDPRESS,DISCUZ,完美兼容。
八爪鱼采集器安装步骤:
1.先解压所有文件。
2.请双击setup.exe开始安装。
3.安装完成后在开始菜单或者桌面均可以找到八爪鱼采集器快捷方式。
4.启动八爪鱼采集器,需要先登录才能使用各项功能。
5.如果已经在八爪鱼网站注册并激活账号,请使用该账号登录。
如果没有注册过,请点击登录界面的“免费注册”链接,或者直接打开,先注册并激活账号。
6.第一次使用时,请仔细查看使用指南(使用指南仅在第一次使用时出现一次)。
7.开始自己配置任务前,建议先打开样本任务熟悉软件使用,然后再对照“主页”上的视频教程学习练习一下。
8.新手建议先学习教程,或者从规则市场,数据市场中寻找自己需要的数据或者采集规则。
八爪鱼采集器8.2.6
迭代功能
更新自定义模式的布局,调整界面各部分尺寸,调整步骤高级选项的位置;
调整高级选项的层级关系,统一XPath的配置。
Bug修复
修复部分包含下拉框任务无法采集完整问题。
八爪鱼采集器8.2.0
页面无内容更新时,可提前结束滚动。
自动跳过无效的翻页操作。
支持瀑布流网页的边滚动边采集。
支持网页的边点击加载更多内容,边采集。
自动识别支持在列表项、详情信息等结果之间切换。
八爪鱼采集器8.1.22
Bug修复
解决部分列表网页自动识别结果不正确的问题
八爪鱼采集器8.1.18
Bug修复
解决软件无法自动升级的问题
八爪鱼采集器8.1.16
新增功能
增加按字段去除重复数据功能 查看详情
增加导出采集数据到Oracle功能 查看详情
增加导出采集数据到JSON文件功能
Bug修复
解决自定义配置中拖动步骤到判断条件中异常的问题
解决自定义配置中多次复制字段后导致字段丢失的问题
解决自定义配置中在数据预览中操作字段相关的问题
解决自定义配置中有时不同网页内容重叠在一起的问题
解决部分任务本地采集时错误的提示需要补采的问题
解决自定义配置中编辑任务后未显示修改未保存标识的问题
解决采集模板详情中有时信息显示不全的问题
解决自定义配置中流程图添加采集步骤菜单显示不全的问题
解决自定义配置中流程图中有时循环项显示不正确的问题
解决点击侧边菜单栏最近编辑任务打开任务不显示网页的问题
八爪鱼采集器8.1.14
主要体验改进
自定义任务配置中增加列表相关的设置引导
自定义任务配置中增加网页中没有要采集数据时的设置引导
自定义任务配置中优化检测到Ajax后的设置引导
自定义任务配置中优化自动识别结果的设置引导
自定义任务配置中加入表单类是网页自动识别,识别率约80%+
Bug修复
解决八爪鱼打开后,电脑长时间睡眠,重新唤醒后八爪鱼白屏问题
八爪鱼采集器8.1.12
主要体验改进
本地采集增加了对7版本采集任务的正则兼容
优化自定义配置中在全部字段中删除字段后预览数据的刷新机制
Bug修复
解决自定义配置中添加采集步骤菜单显示位置不正确的问题
解决升级新版本后任务列表打不开的问题
解决自定义配置中拖动调整数据预览中字段顺序白屏的问题
解决自定义配置中删除数据预览中字段或数据行时提示操作框显示错误的问题
解决采集模板中列表类型的参数无法配置的问题
解决本地采集中鼠标移动到元素上不生效的问题
解决定时采集中设置日期会出错的问题
解决自定义配置中JSON任务添加字段会白屏的问题
解决任务列表中任务组模式下批量启动云采集会长时间卡住的问题
解决自定义配置中添加固定字段后修改字段名错误的问题
解决自定义配置中循环提取固定元素列表预览数据不显示的问题
解决自定义配置中部分网站无法获取Cookie的问题
解决定时采集中设置按周、按月定时采集下一次采集时间不正确的问题
解决定时采集中设置间隔时间1分钟采集不生效的问题
解决自定义配置中有时修改任务名保存不生效的问题
解决自定义配置中设置字段抓取属性值-选择属性值的时候流程图区域会隐藏的问题
解决自定义配置中第一次进入时引导提示背景出现用户调查界面的问题
解决任务列表中刷新后筛选条件重置的问题
解决自定义配置中修改任务名时标签页中的任务保存标识不正确的问题
八爪鱼采集器8.1.8
主要体验改进:
改善安装卸载错误日志记录方式
八爪鱼采集器8.1.4
主要体验改进
优化网页列表数据自动识别,将识别率提高到90%以上
Bug修复
解决自定义配置中循环输入文本中循环项重复的问题
解决自定义配置当前页面数据预览中有时会多出一列空数据的问题
解决自定义配置中有时候自动识别生成的采集流程不正确的问题
解决自定义配置当前页面数据预览中拖动改变字段顺序后修改字段名错误的问题
解决本地采集中部分网页Cookie不生效问题
解决自定义配置中自动识别生成的采集字段中有空格的问题
解决本地采集中部分网站无法滚动加载数据的问题
解决本地采集中某些情况下数据格式化不正确的问题
解决自定义配置提取数据配置中修改字段后没有应用也生效的问题
解决自定义配置中部分网页自动识别有时会卡住的问题
解决自定义配置自动识别的数据预览中有时修改字段名会白屏的问题
解决主界面左侧账户过期时间显示的问题
解决自定义配置中某些操作会造成流程图错乱的问题
八爪鱼采集器7.4.42018-06-22
主要体验改进:
【自定义模式】支持采集网址数量,从2万扩展到100万级别
【自定义模式】网址输入支持文本导入,支持txt、xls、xlsx、csv格式
【自定义模式】网址输入支持批量生成网址参数,包括数字变化、字母变化、时间变化、自定义类表四种生成方式
【自定义模式】支持任务跟随采集,A采集的网址作为B任务的输入源进行关联采集,拓宽使用场景
【任务列表】任务列表可根据「云采集完成时间」来排序
【其他】任务错误报告导出支持excel格式
Bug修复:
修复本地验证码识别出错问题
修复云采集正则替换失效问题
八爪鱼采集器V7.2.2 2017-12-25
升级提醒:
系统不支持自动从6.x自动升级到7.x,使用6.x版的用户请单独下载V7.x版本再安装使用。
主要体验改进:
【任务管理】可自定义每页显示任务数量(10、20、50、100),大批量任务管理更方便
【任务管理】优化页面刷新体验,减少无效刷新
【自定义模式】可将无关联的几个元素,组成一组列表链接进行循环采集,适应更多场景需求
【自定义模式】创建任务时,可同时设置任务组
【其他】可购买任务控制API
Bug修复:
修复增量采集失效问题,提高增量采集可靠性
修复填入大量URL时引起的性能问题
修复部分客户端崩溃问题
八爪鱼采集器V7.1.82017-11-19
升级提醒:
系统不支持自动从6.x自动升级到7.x,使用6.x版的用户请先卸载:开始->八爪鱼->卸载,再安装V7.x。
主要体验改进:
增加智能防封(代理IP)功能,点击查看详细说明
提供验证码单独购买渠道,无需捆绑套餐购买
自定义模式,智能辅助框去掉「更多操作」,直接展示全部配置选项
Bug修复:
修复部分客户端崩溃问题
修复字段名出现乱码问题
八爪鱼采集器V7.1.6 2017-11-02
升级提醒:
系统不支持自动从6.x自动升级到7.x,使用6.x版的用户请先卸载:开始->八爪鱼->卸载,再安装V7.x。
主要体验改进:
改进主要页面UI设计,优化图标、背景色、对话框设计
集成新内核,解决旧版内核中,一大批网页无法打开的问题
客户端首页加入新手教程,合并APP&网站简易采集模式
自定义模式--智能辅助框增加「撤销本次选择」功能
自定义模式--选中元素列表时,显示列表数量,方便校对
自定义模式--可以将无关联的元素,组成一组列表
优化自定义模式中选择元素的相关操作
在Xpath参考库中增加XPath教程
Bug修复:
【循环打开网页】URL太长导致内存溢出,无法再修改规则
本地采集出现错误报表后,弹窗必须手动点击
在查看数据界面,内容数据长度超长,导致查看数据卡住,甚至崩溃
修复若干Bug
八爪鱼采集器V7.1.4 2017-09-25
升级提醒:
系统不支持自动从6.x自动升级到7.x,使用6.x版的用户请先卸载:开始->八爪鱼->卸载,再安装V7.x。
体验改进:
新增UserAgent切换功能,有效规避网页防采集(包括火狐45、54、55,火狐手机版29、谷歌浏览器最新版)
增加「检测工作流异常」功能,当工作流出错时将会检测及自动修复
加入「关于我们」,可以查看客户端版本及检测更新
目前可以在「自动导出数据库」时选用已保存的导出配置
删除单个任务加上确认提示,避免误操作
优化编辑任务名体验
导出数据时,导出数据范围默认跟随当前页面筛选条件,避免误操作
移除「发布到网站」功能
Bug修复:
修复「新增字段后进行采集,导致数据丢失」的问题
修复「预览包含大量内容的字段导致崩溃」问题
修复「当任务名称太长时,自动导出里无法显示任务」的问题
修复IT桔子打开异常问题(需要手动切换UA为火狐54、火狐29)
修复智能模式加载下一页出错问题
八爪鱼采集器6.4.3
升级提醒:
八爪鱼采用云存储技术,因此升级或者重新安装都不会影响用户的数据,请放心升级。
升级内容:
修复点击网页不弹出选择框的问题
八爪鱼采集器6.42016-12-09
升级提醒:
八爪鱼采用云存储技术,因此升级或者重新安装都不会影响用户的数据,请放心升级。
升级内容:
添加识别验证码功能,云采集支持自动识别验证码,单机采集支持自动识别和手工输入
添加执行计划设置的功能,并可以使用已保存的计划批量应用到多个任务上
修复导出到Mysql必须需要mysql数据库权限的问题
优化单机采集速度
优化软件内存占用高的问题
八爪鱼采集器V6.2.12016-09-26
升级是否影响用户数据?八爪鱼采用云存储技术,因此升级或者重新安装都不会影响用户的数据,请放心升级。
修复文章正文分页合并导出后的数据会有多条
修复找不到时使用默认值设置失效
查看数据添加直接查看某页面的数据的功能
翻页次数可以设置更大的值
修复打开网页重试无效的问题
添加右键刷新任务和任务组的功能