MRS系统架构
MRS架构介绍
MRS架构包括了基础设施和大数据处理流程各个阶段的能力。
基础设施
MRS基于便宜云服务器弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力。
数据采集
数据采集层提供了数据接入到MRS集群的能力,包括Flume(数据采集)、Loader(关系型数据导入)、Kafka(高可靠消息队列),支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。
数据存储
MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。
数据融合处理
MRS提供多种主流计算引擎:MapReduce(批处理)、Tez(DAG模型)、Spark(内存计算)、SparkStreaming(微批流计算)、Storm(流计算)、Flink(流计算),满足多种大数据应用场景,将数据进行结构和逻辑的转换,转化成满足业务目标的数据模型。
数据呈现调度
用于数据分析结果的呈现,并与数据治理中心DataArts Studio集成,提供一站式的大数据协同开发平台,帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。
集群管理
以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。
便宜云服务器MRS产品优势
如何购买MRS集群
MRS根据多种常用场景,提供集群模板供您快速购买并使用。您也可以根据需求进行定制