新闻中心Position

你的位置:ayx手机版登录(综合)官方网站入口/网页版/安卓/电脑版 > 新闻中心 > ayx爱游戏第一品牌MPP与Hadoop之间的数据传输速率-ayx手机版登录(综合)官方网站入口/网页版/安卓/电脑版

ayx爱游戏第一品牌MPP与Hadoop之间的数据传输速率-ayx手机版登录(综合)官方网站入口/网页版/安卓/电脑版

发布日期:2024-07-03 10:48    点击次数:153

GBASE南大通用数据库电信业案例共享:ayx爱游戏第一品牌

北京迁徙筹备分析系统自2004年精采开动全面开荒和整合。经分系统集聚营救了各部门、各分公司的管制分析需求;2020年开荒新数据中心,扩容GBASE南大通用GBase 8a MPP数据库集群,对经分架构体系进行优化谋略,竣事投资降本增效、应用百花皆放和体系优化擢升的倡导。

惩办决策

北京迁徙数据中心系统接收PC Server+Linux+腹地磁盘的部署模式,近百个(仍是主数据仓库)+数十个(仍是专用库)+十余个(自助分析平台)节点范畴,系统举座接收多种差异式存储处理平台的混搭架构,Hadoop的Map/Reduce、Hive处理海量的非结构/半结构化数据的批处理场景;GBase 8a MPP Cluster数据库处理结构化的海量数据(包括批处理和准及时的交互处理)(本决策在应用展示层接收MySQL数据库互助GBase 8a MPP Cluster数据库完成部分与应用的交互处理;流式数据处理框架Streams、MQ、VlotDB竣事流处理及复杂数据处理,营救及时营销场景。MPP与Hadoop之间的数据传输速率,每小时的传输速率最快不错达到30T摆布。

GBase 8a MPP Cluster数据库在系统中行为所有企业数据中心的主数据仓库,担负处理数据的深度加工和BOM域之间的数据交融,即承担了所有数据供应链中最复杂的数据加工处理历程。所有系统中GBase 8a MPP Cluster数据泉源主如果上游数据如boss和crm系统将数据传到接口机,此时的数据分为结构化数据和非结构化数据,非结构数据的批处情理Hadoop进行处理,然后加载到MPP中再次进行加工使用;结构化数据处理径直加载到MPP数据库完成。

应用效用

延伸系统数据处理规模:全面交融运营商的B域/O域/M域数据,为全价值链分析打下了数据基础,竣事了从产物、客户、资源、渠说念、基建等多角度挖掘分析;

称心系统更长周期数据可延伸性存储,管制和处理:支握长周期的海量数据的存储管制,称心了企业数据中心营救“大数据”的本体诉求。

提高系统数据入库时辰:举座裸数据文献入库速率最高可达20TB/小时,比原DB2数据库性能提高100倍以上。

数据库操作性能擢升:一般统计查询类操作性能擢升1倍以上,更新类操作性能擢升30%-50%。

擢升系统存储空间运用率:数据容量进一步降至未压缩前的1/4,极大提高了所有系统的数据人命周期。

裁汰系统开荒软硬件资本:鄙俗X86架构下的PC Server+源Linux操作系统部署样式ayx爱游戏第一品牌,裁汰了系统的软硬件插足资本。



TOP