宣布针对短期的、事件驱动的用例的数据流函数的GA

概述
 

控制数据分布,同时允许灵活地将数据交付到任何地方.


CDF-PC提供了一种基于流程的低代码开发范式,它与开发人员的设计方式最一致, 开发, 测试数据分发管道. 在包括数据湖在内的混合云服务生态系统中,拥有超过450多个连接器和处理器, lakehouses, 云仓库, 就地来源- cdf - pc提供无选择地数据分发. 然后,这些数据分布流可以被版本控制到一个目录中,操作员可以在其中自助部署到不同的运行时.

Cloudera公共云的数据流

由Apache NiFi提供支持的通用数据分发

公共云的CDF图

连接到任何地方的任何数据源,处理并交付到任何目的地

用例

  • Serverless没有代码micro服务
  • 接近实时的文件处理
  • 数据Lakehouse摄取
  • 网络安全 & 日志优化
  • 物联网 & 流媒体数据收集

Serverless没有代码micro服务


数据流功能是第一个可视化的无代码解决方案,可以构建具有无限扩展能力的微服务.

通过在AWS Lambda中运行NiFi流, Azure功能和谷歌云功能, 数据流功能是第一个为构建由HTTPS请求触发的微服务提供易于使用的无代码UI的解决方案. 它提供了在无服务器环境中快速构建具有无限扩展能力的API端点的选项.

 

接近实时的文件处理


数据流功能可以在无服务器架构中轻松实现接近实时的文件处理.

通过在AWS Lambda中运行NiFi流, Azure功能和谷歌云功能, 只要文件在对象存储区中可用,数据流功能就为处理文件提供了最经济有效的方法. 资源只在处理数据时运行,NiFi不再需要24/7运行. 这也提供了一个完全无服务器的体系结构,没有任何基础设施操作成本的要求.

数据lakehouse摄取


使用可用于任何数据湖屋或数据仓库的单一工具现代化数据管道.

支持超过450+处理器, Cloudera 数据流可以方便地收集数据并将其转换为您所选择的湖滨小屋所需的格式.

Cloudera 数据流提供了处理非结构化数据的灵活性,无需强制执行模式或通过应用模式为非结构化数据提供结构,并使用NiFi表达式语言或SQL查询轻松转换数据,从而实现高吞吐量.

 

网络安全 & 日志优化


通过管理SIEM数据,使数据分析师能够更快、更准确地检测和分析事件.

通过现代化数据收集管道来收集和过滤来自全球数千个来源的实时数据,降低您的网络安全解决方案的成本.

从成本和性能的角度来看,将所有设备和应用程序日志导入SIEM解决方案不是一种可伸缩的方法. Cloudera 数据流允许您从任何地方收集日志数据,并过滤掉噪音, 使存储在SIEM系统中的数据易于管理.

物联网 & 流媒体数据收集


将数据从边缘的物联网设备发送到云中的中央数据流,该数据流可根据需要向上或向下扩展.

Cloudera 数据流是为大规模处理流数据而构建的, 允许组织从小型项目开始他们的物联网项目, 但他们相信,他们的数据流可以管理由于增加更多源设备而引起的数据爆发,并处理间歇性的连接问题.

关键特性

数据流功能运行时提供了一个高效的, 成本优化, 为事件驱动用例以完全无服务器的方式运行NiFi流的可伸缩方式.

数据流部署会根据CPU利用率自动扩大或缩小NiFi流. 基础设施成本可以通过设置自动扩展的最小和最大边界来控制.

使用NiFi的富处理器库连接到任何数据源或目标, 包括内部数据源, 云数据存储, 云数据仓库, 日志数据来源, 云数据分析服务, 或者云业务流程服务. 开发人员还可以使用称为ReadyFlows的最小配置快速部署一组预定义的数据流,以实现最常见的数据流用例.

在一个仪表板中监视所有的NiFI流部署, 不管他们在哪个云上运行. 通过为流部署定义KPI警报来跟踪重要的流性能指标.

轻松地提供安全, 稳定的, 和可伸缩的端点, 使任何应用程序都可以轻松地向流部署发送数据.

Cloudera 数据流在构建时考虑到了自动化. 在UI中执行的任何操作都可以转换为CLI语句以实现自动化. 部署一个新的NiFi流就像执行一个CLI命令一样简单.

在任何地方开发nifi流 & 部署到任何云
作为自动伸缩Kubernetes集群或无服务器NiFi流

数据流用于公有云流程图

公共云中的运行时选项

功能 数据流部署 数据流功能

云运行时

NiFi集群使用 
Kubernetes /容器
NiFi流运行在云提供商的无服务器计算服务(AWS Lambda, Azure的功能, 和谷歌Cloud Functions)

用例

需要低延迟的高吞吐量工作负载,需要始终运行NiFi流的用例 事件驱动的, 微突发用例没有亚秒级延迟需求,NiFi流不需要连续运行

好处

自动伸缩Kubernetes集群的长期运行的工作流集中监控 非常高效。, 成本优化, 可扩展的方式运行NiFi流无服务器,允许开发人员专注于业务逻辑

计量单位

Cloudera计算单元(CCU) 方法调用计数 

为自己体验公共云的数据流

从边缘收集数据 


管理, 控制, 监控流媒体和物联网计划的优势,并通过Cloudera edge management提供无代码摄入和管理的实时流媒体数据.

开始

产品文档

找到关于公共云的Cloudera 数据流的技术规范、体系结构和教程.

了解更多

CDF为公有云定价


评估Cloudera 数据流跨公共云实例的公共云定价.

了解更多的细节

数据流概述旅游

掌握Cloudera 数据流的公共云之旅.

现在访问

Cloudera社区与nifi

与您的同行连接、询问问题、排除故障并更多地了解Apache NiFi.

探索现在

NIFI培训

预订为期三天的Apache NiFi基础和更多的实践培训课程.

去学习

产品演示

观看面向公共云的Cloudera 数据流的介绍和演示.

去看

演示

Cloudera公共云数据平台上的数据流功能

网络研讨会

将企业数据从任何地方移动到任何系统都变得很容易

新闻

博客:宣布数据流函数的GA

网络研讨会

驯服所有流数据管道

世界级的培训、支持 & 服务

您的表单提交失败了.

这可能是由以下原因之一引起的:

  • 您的请求超时
  • 插件/浏览器扩展阻止了提交. 如果您有广告拦截插件,请禁用它并关闭此消息重新加载页面.