MRS系统架构

MRS架构介绍

MRS架构介绍

  • MRS架构包括了基础设施和大数据处理流程各个阶段的能力。

    基础设施

    MRS基于便宜云服务器弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力。

    数据采集

    数据采集层提供了数据接入到MRS集群的能力,包括Flume(数据采集)、Loader(关系型数据导入)、Kafka(高可靠消息队列),支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。

    数据存储

    MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。

    数据融合处理

    MRS提供多种主流计算引擎:MapReduce(批处理)、Tez(DAG模型)、Spark(内存计算)、SparkStreaming(微批流计算)、Storm(流计算)、Flink(流计算),满足多种大数据应用场景,将数据进行结构和逻辑的转换,转化成满足业务目标的数据模型。

    数据呈现调度

    用于数据分析结果的呈现,并与数据治理中心DataArts Studio集成,提供一站式的大数据协同开发平台,帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。

    集群管理

    以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。


便宜云服务器MRS产品优势

  • 存算分离架构

    计算和存储分离,统一数据湖,消除数据孤岛,一份数据,无需多次拷贝,多种计算引擎,存储和计算资源灵活配比,各自按需扩缩,性价比领先业界30%

  • 极致性能体验

    通过结合硬件、数据组织、计算引擎、AI智能调优四级垂直优化,全栈式性能加速,同时具备百万规模元数据毫秒级响应,为用户提供极致性能体验

  • 领先开源技术

    主流引擎Spark、Hive、Flink等深度改造,拥有索引、缓存、元数据等关键技术;自研CarbonData毫秒级点查,Superior调度突破单集群20000节点+

  • 高安全高可用

    支持单集群跨AZ高可用,无单点故障,滚动补丁/升级,任务断链重连,业务0中断;具备网络资源隔离、账号安全、数据安全管控等多级安全保障能力

如何购买MRS集群

MRS根据多种常用场景,提供集群模板供您快速购买并使用。您也可以根据需求进行定制

  • 快速购买MRS集群

    快速购买一个HBase查询集群,HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。

  • 自定义购买MRS集群

    自定义购买可以灵活地选择计费模式、配置项,针对不同的应用场景,可以选择不同规格的弹性云服务器,全方位贴合您的业务诉求。

常见问题


http://www.vxiaotou.com