平台的特色

  • 分布式采集

    传我们的分布式采集平台，采用统一Master管理，可同时抓取大量网站，自动调度网络、计算、存储资源，大大降低了后期开发成本。

  • 周期性采集

    支持针对不同网站、社交网络的不同周期的数据采集，有助于实现实时监控舆情等突发信息。

  • 与人工智能结合

    我们的深度学习平台实现增量学习、迁移学习算法，智能性可以随时间推移不断增强，能逐渐训练出符合客户心意的分类、标签、图像识别等算法。

分布式数据采集

传统的开源数据采集多为单服务器模式，针对大量网站的采集工作，需要人工进行横向分割。而网站周期性的采集需求大大增加了人工参与的负担。我们的分布式设计，可以统一管理大量网站的周期性采集。Master可自动调度网络、计算、存储资源，达到资源利用最大化，节省后期定制化开发的成本。

融合人工智能算法

我们不但实现了深度学习的离线学习，可为客户定制化训练分类、标签、图像识别等算法，也实现了自然语言处理的增量学习和迁移学习，使智能化可以随着使用不断增强。