大数据基础设施解决方案

2019-07-30 10:22 来源: 华为集团
浏览量: 收藏:0 分享
  • 方案类别:基础设施

  行业趋势分析

  行业趋势

  随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39。6%的企业正在应用大数据并从中获益;超过89。6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业在扩大大数据的投入力度。对各行业来讲,大数据的使用能力成为未来取得竞争优势的关键能力之一

  数据量将成爆发式增长趋势,企业需要加强采集数据的能力

  海量数据的存储、管理成本将大幅增加

  为更好的挖掘数据价值,需要大量的计算资源

  大数据和人工智能的结合,将成为大数据应用的主要方向

  方案优势

  业务连续稳定

  通过多级可靠性架构,保证数据持久性达99。9999999999%,业务系统支持两地三中心高可用部署,数据多副本存储(3AZ)

  高性能多元算力

  提供高性能虚拟机,裸金属服务器,AI算力等多种计算资源。满足各种业务需要。内网大带宽高速互联网络,系统整体性能大幅提升

  资源利用率高

  提供计算资源、存储资源分离部署方案,集群利用率提升75%,存储利用率提升50%,支持按需伸缩计算资源,轻松应对业务负载变化

  数据复用率高

  OBS支持多种协议。数据一处存放,处处使用,分析任务无需复制数据到本地,即可进行处理。数据复用程度高,整体业务处理速度快

  业务挑战

  IT投资和维护成本高

  大数据业务单次IT投资金额大,机房建设成本、存储服务器、应用服务器、配套的风火水电等资金投入,需要企业一次性投入大量资金;随着业务规模逐渐增长和平台架构升级,大数据平台所需的存储服务器、计算服务器数量和规格逐渐增加,导致数据中心异构资源多,后期维护困难

  性能不足,分析周期长

  当出现热点事件或促销活动等浪涌业务时,企业所需的数据分析量迅速增加,传统的数据中心无法快速扩充相应的存储、计算资源,导致大数据处理、分析任务出现堆积,处理缓慢,甚至无法在最大可容忍时间内完成,导致企业正常经营业务受损

  额外拷贝,容量、效率浪费

  由于大数据分析任务对数据的并发读写能力要求极高,传统的存储服务器无法满足要求,大数据分析应用只能先将待分析数据复制到本地,之后才可以开始进行分析,额外增加了一次数据拷贝消耗,同时占用了大量本地存储空间,导致整体分析效率浪费、存储容量浪费

  资源无法灵活配比,浪费严重

  数据是企业业务发展重要生产资料之一,为避免出现数据丢失、损坏的风险,数据需要多地多份存储(>3),企业需要额外购买数倍于业务数据所需的存储空间,存储设备成本高企

  典型业务场景

  大数据实时分析

  大数据离线分析

  大数据实时分析场景

  提供可弹性扩展、低时延、高吞吐的高性能计算资源,支持业界主流的实时分析业务平台,结合大带宽、支持多种协议的对象存储服务,提升实时分析业务整体资源利用率

  优势

  资源利用率高

  支持计算、存储分离架构,最大化提升资源利用率,按需使用计算资源;计算资源灵活可变,满足业务量高速增长需求

  卓越的分析性能

  裸金属服务器与对象存储之间支持25G超高带宽,保障数据分析业务的低时延、大带宽诉求,端到端性能较本地大数据分析平台提升一倍

标签:

责任编辑:徐向南