介绍

编辑

八爪鱼采集器是一款通用的互联网数据采集器，模拟人们浏览网页的行为，通过简单的点击页面，产生自动化采集流程，从而将网页数据转化为结构化数据，并以EXCEL或数据库等多种形式存储。同时提供基于云计算的大数据云采集解决方案，实现数据采集，是一键式数据采集平台。[1]

基于分布式云计算平台，结合智能识别算法和可视化操作界面，从不同网站或网页中获取标准化数据，帮助需要从网页中获取信息的客户以标准化方式自动采集和导出数据，从而提高效率[3]。[3]

是一款服务于国内企业和组织的数据收集工具，是一款有四种语言版本的收集软件，涵盖中文、英文、日文、西班牙文。[3]

产品功能报告

编辑

用户界面

01. 采集全行业、全场景、全类型的数据

采集和存储任务数量无上限，满足全行业、全场景、全类型的互联网数据采集。

全行业：电商、新闻、社交、招投标、金融、房地产等全行业互联网数据采集，行业网站都有现成的模板。

全场景：列表页、详情页、搜索页、瀑布页、登录、多层点击、下拉框、IP切换、自动验证码识别等场景集合。

全类型：支持文本、链接、图片、视频、音频、Html源代码、Json格式等多种数据类型的采集。

02. 高速收集大规模数据

利用高性能云服务集群，提供多节点高并发采集能力，可完成大规模数据采集。

高性能：企业版可使用独立的高性能云服务集群，无需排队即可开始数据采集。

速度快：提供30/100个云节点高并发采集能力，可完成大规模数据采集。若当前云节点不够用，可以扩容。

03.实时收集新数据

支持设置灵活的定时采集策略+多节点高并发采集+自动去重/条件触发等功能，实时从各类数据源采集新数据。

定时采集策略：根据网站更新频率以及单次更新的数据量，设置合理的定时策略，支持极高频率的定时。同时可以将更新频率相同的网站分组在一起进行分组定时。

多节点高并发：按照时序策略，将账户内的云节点合理分配到各个数据源，完成各个数据源新数据的采集。

自动去重/条件触发：将新采集的数据与之前采集的数据自动比对，进行去重，并设置采集触发条件，只有满足条件的数据才会被采集，实现新数据的采集。

04.提供API接口，同步采集结果

提供高负载、高吞吐量的API接口，可以秒级同步采集结果到企业数据库或者内部系统，除了API之外，还提供自动存储功能。

数据导出API：提供高负载吞吐量、灵活的API接口，支持同时采集和导出，并将采集结果同步到企业数据库或内部系统。

自动存储：除了API调用数据外，还提供数据自动存储功能，只需几个步骤即可实现数据自动存储。

任务控制API：提供任务控制API接口八爪鱼，无需启动客户端就可以控制任务的启动、停止以及修改任务参数。

05.支持SaaS版本和私有部署版本

提供在线SaaS版软件服务，下载客户端即可使用。同时支持将整个采集系统部署到企业本地，构建企业自己的大数据采集系统。

在线SaaS版本：从官网下载客户端，登录账号即可使用。软件各项功能随官网实时更新，需要在线才能使用。

采集任务及数据保存在云端服务器中，可随时查询、导出或运行新的采集任务。

私有部署版本：企业私有部署，可部署于隔离内网环境。提供定制化部署方案，满足各类数据安全等级。支持软件OEM、去除八爪鱼Logo、自定义品牌Logo，凸显品牌信息。

支持永久授权，不同于线上SaaS版本按使用时间收费，私有部署版本一次授权，终身使用。

涵盖网络版所有功能。拥有多种管理权限：服务器集群资源管理、用户权限管理、任务分配管理、数据监控管理。拥有丰富的数据API和SDK接口。

支持二次开发。除了成熟的数据采集功能外，还提供二次开发服务，包括但不限于系统集成、数据清洗、数据全文检索、数据可视化、数据分析应用等。[3]

产品和服务报告

编辑

全程一对一服务

为用户提供全程一对一合作服务，帮助用户掌握相关技能，推动项目落地。

售前测试

售前客户经理与用户一对一确认收款需求、协助制定收款任务、测试收款结果、评估项目工作量。

在线培训

提供一对一个性化在线培训课程，帮助客户及团队掌握相关技能，推动项目上线。

售后支持

客户经理为您提供一对一售后支持，为用户解决问题、优化收款任务、响应用户需求。[3]