jBEAM Cluster:提升测试大数据分析能力

jBEAM Cluster中包含多个jBEAM实例,可同时分析同一数据湖中的不同测量数据集;各项局部分析结果经汇总,生成最终结果。

jBEAM Cluster的工作原理:

  • jBEAM Cluster中包含多个jBEAM实例,可对特定数据展开并行处理,最终生成分析结果。
  • 一个jBEAM聚类由一台或多台计算机上运作的多个jBEAM实例(节点)构成。
  • 各聚类节点单次处理一个文件,随后将处理结果返回汇总器,并就自身当前状态向聚类管理器提交反馈。
  • 这种方法与MapReduce的多文件并行运算类似,无需分割文件。
  • 所有文件处理完成后,汇总器将汇总所有局部处理结果,将之合并为最终处理结果,并通过网络返回至用户端(客户端)。
  • jBEAM Cluster支持传统文件系统(如Windows、NAS、Linux等)和分布式文件系统。
优势

无需传输海量数据

在数据所在地执行计算

可集成至测量数据管理系统MaDaM

一个jBEAM Cluster使用多个jBEAM实例(节点),进一步提升海量测试数据的处理速度。

并行性

为了高效处理与日俱增的测量数据,在该等数据实际所在地执行计算至关重要。本地数据处理能够减轻传输海量数据带来的负担。

奇石乐针对海量数据的处理,推出一套完整的解决方案。奇石乐综合性应用程序jBEAM,专为测试大数据的并行处理和分析设计。同时部署jBEAM与奇石乐测量数据管理系统MaDaM,用户可享受最高效的测量数据处理体验。

用于测试大数据分析的jBEAM Cluster扩展了jBEAM的处理能力——可谓真正实现全局分析的关键。

多线程处理多个计算组件

jBEAM可以对适当的计算组件开展并行分析,充分发挥现代多核CPU的潜力。

一个分析链由多个计算实例和图形组件组成。在获得操作类型支持的情况下,各组件均可并行执行任务。例如,我们可以将一个直方图计算拆分成多个独立计算任务,但快速傅里叶变换(FFT)则不可拆分。

高效连接并处理多个数据湖

如今,拥有多个研究中心的跨国公司通常设有多个数据存储中心,且各中心均配备本地测量数据管理系统。工程师通常使用“本地”测量数据管理系统(MaDaM)来完成多数分析任务。当需要进行全局分析时,本地MaDaM可(通过MaDaM Connect)与其他所有MaDaM通信,以分发搜索请求和分析定义。本地MaDaM系统将独立处理搜索请求,并将结果返回发出请求的MaDaM系统,并由该发出请求的MaDaM将所有结果汇总,生成最终报告。在各个(受MaDaM管理的)数据湖中,分析均在数据附近进行处理,最后汇总生成全局性分析结果。各MaDaM系统中的分析均可得到其本地jBEAM聚类的支持。

联系方式
(max 25 Mb)