开源大数据流水线系统 PiFlow V0.9 发布
发布时间:2020-12-01 点击数:591
PiFlow是基于分布式计算框架Spark的大数据管道系统。该系统将数据采集、清洗、计算、存储等环节打包成组件,以所见即所得的方式进行流水线配置。好用又强大。此版本更新了以下功能:
添加可视化分析功能,包括线形图、直方图、饼图、散点图;
添加可编程特性,无缝连接上下游组件,按需在线开发调试;
添加多语言特性,支持Scala、Python、Shell等语言编程;
添加依赖于火花的jar包管理