【行业动态】先进存储构建新型基础设施底座:存储系统



5G、物联网、数据中心、人工智能等为代表的新型基础设施已成为引领数字经济高质量发展的全新引擎。在数字经济时代,数据是第一生产要素,其存储、管理、分析和应用对于预测经济形势、规划经济活动至关重要,数据的存储与管理需求推动存储技术不断升级:一方面,作为数据存储的底层介质,存储芯片的特性向高性能、低功耗、小尺寸等方向快速发展;另一方面,以存储芯片和器件为基础,结合互联协议与软件平台构建的存储系统,在极致性能、融合扩展和高效管理方面不断提升,二者共同为新型基础设施构筑数据底座。存储产业技术创新战略联盟!W6r4C} i9y

 

__)PZ:TJ0

数字化推动我国存储产业快速发展与技术升级

&m e1KE f+?4A}$k*I0

 

6kK@#a#H\I,Wr0

在数字化、信息化的浪潮下,全球社会产生的数据量快速增长,例如视频清晰度4K4K VR,数据量将提升6倍以上;L4等级自动驾驶训练产生数据量高达100EB;城市中超过200万个的摄像头每天会产生超过80PB的图片数据。我国在数字经济发展战略的引领下,目前已成为全球数据产生量最大的国家,并且随着新型基础设施为数字经济注入新的动力,未来数据量将进一步增长。根据IDC预测,从2019年到2025年,全球数据量将从45ZB增长至175ZB,其中以图片、音频、视频为主的非结构化数据占比将超过80%,我国数据量将达到50ZB,在全球占比接近30%存储产业技术创新战略联盟E&uK4K4O;M5jj

 存储产业技术创新战略联盟5_v ? K|#^B%SC

数据量快速增长对存储系统需求的提高,有力推动了我国存储产业的发展,2017~2019年我国外部存储市场平均增速为22.3%2019年市场规模达到31亿美元,其中以存储非结构化数据为主的第二存储成为产业增长的主要着力点,2019年增长高达160%。伴随新基建带动数字经济的繁荣发展,数据价值挖掘与分析利用需求的日益凸显对存储系统提出了越来越高的要求:海量非结构化数据的存储对单节点存储容量需求上升到PB级别;银行、电商、高性能计算等场景大量高速的数据交互对存储系统性能要求不断提升;智慧应用下沉催生的云边协同模式离不开高效存储数据管理的支撑。

4m|gtls pR0

 存储产业技术创新战略联盟MN4O0`q_

采用全闪存阵列是存储系统性能提升的方向存储产业技术创新战略联盟._"y%l_'C%]QD1m

 存储产业技术创新战略联盟r!t*\qq ]*Qm

随着数字经济的深入发展,数字化应用对存储系统的性能要求不断提升。例如银行和大型电商每天超过1亿笔交易,需要核心业务系统IOPS超过20万,且时延需要保持在1ms左右;承载数据库、Web应用等业务的服务器虚拟化在高负载下需要高达5000 IOPS/TB的数据吞吐速率。基于HDD的传统磁盘阵列面对高性能负载应用已捉襟见肘,基于SSD的全闪存阵列是存储系统获得极致性能提升的主要手段。存储产业技术创新战略联盟2J1Q&f"bP/R/R5u7T#K6o3^

 

)DM0Rw [0

SSD基于NAND-Flash构成,与HDD相比,其关键性能大幅提升,例如HDD的随机I/O典型为400IO/sSSD则高达6000IO/s,同时SSD降低了功耗、提高了可靠性。相对于传统的磁盘阵列,基于SSD构建的全闪存阵列主要有以下优势:一方面,可以极大提升存储系统的IOPS和时延性能,有效满足金融交易系统、VDI、高性能计算等追求极致性能应用场景的需求;另一方面,得益于SSD的低功耗与高可靠特性,存储系统的总体功耗和制冷设备能耗,以及故障维护费用可以得到有效降低,进而节省系统的总体拥有成本。存储产业技术创新战略联盟e}Z@;?^f.q S)^

 

%p6d })I9e?Yy1iL0

目前主流存储系统提供商60%以上的主存储产品均采用全闪存阵列。2018~2019年采用全闪存阵列的存储系统市场增长超过20%,到2023年在存储市场的占比预计达到50%存储产业技术创新战略联盟sbQB&sg8`

 存储产业技术创新战略联盟j,p~3[tW8A9\n

基于分布式的超融合架构成为构建企业云的重要解决方案存储产业技术创新战略联盟(FW7I n$@#g

 

5j*Qh5t2| [0

从存储资源的扩展模式来看,存储系统架构可分为两种:集中式存储和分布式存储,其中集中式存储包括DAS直接存储和SAN/NAS网络存储。相对于集中式存储,分布式存储采用横向扩展的节点集群模式,将数据分散到多个存储服务器节点,各节点通过网络构成虚拟的存储整体对外提供存储服务,因而具有以下优势:一是横向扩展模式可按需灵活配置存储节点,单节点容量可提升到PB甚至EB级别;二是存储可与计算资源同步横向扩展,使系统得到线性提升;三是易于对不同厂商的产品进行整合和管理,降低扩展成本。分布式架构已成为存储系统容量扩展、应对非结构化数据存储的基本特点。当前市场主流存储系统产品均基于分布式架构,根据IDC预测,到2023年超过40%的存储系统都是分布式的。存储产业技术创新战略联盟5n)J8`,r1l"t!Z"_.k

 

9r@\-zIW/YpX0

近几年,企业上云率不断提升,“公有云﹢私有云”的混合云架构在企业云存储解决方案中的优势越发凸显,企业云数据中心的部署对存储系统提出了差异化的要求。相对于大规模云数据中心,企业云的部署主要有以下核心诉求:一是敏捷性,提高资源交付的灵活性与运维难度,缩短业务系统的部署与应用流程;二是稳定性,提高容错性,妥善应对硬件、网络等故障,保障业务的连续;三是统一管理,将计算、存储、网络等资源融合管理,同时将不同区域、不同业务系统数据资源打通,消除数据孤岛。特别是对于工业互联网应用,工业场景分散、业务数据独立管理易形成数据孤岛,传统IT架构管理平台割裂增大管理难度和故障风险,工业互联网的推进对企业云的稳定性和统一管理提出更加迫切的需求。

-eR,Wk/e t0uu~0

 

)vz2`yI"h0

基于分布式的超融合架构为企业建云提供了强有力的支撑。超融合架构基于x86服务器和分布式存储,在同一套单元设备中融合计算、网络、存储和服务器虚拟化等资源及技术,多套单元设备通过网络聚合,实现模块化的横向扩展,形成统一的资源池。与传统架构相比,超融合架构具有以下特点:基于x86服务器的特性降低了建设与扩充成本,一体化的设计降低了系统资源构建、运维与管理难度,提升了可用性;分布式的架构实现资源弹性扩展与分散配置,避免单点故障对系统的影响;存储虚拟化将不同业务系统数据资源打通,避免了数据孤岛。分布式超融合架构可较好满足企业云敏捷性、稳定性与统一管理的部署需求,特别是在支撑大型企业工业互联网建设方面有较大优势。随着工业互联网的深入推进,未来企业云在各个行业的深入部署与应用将有力带动分布式超融合架构的发展,根据IDC的预测,未来两年超融合架构存储的年复合增长率达到25.2%存储产业技术创新战略联盟J:fU"s@2w

 

7T&Eu$G3z!D7uR!m0

云存储的协同发展对数据管理提出更高要求

E/Dl hO b6N0

 存储产业技术创新战略联盟jdy1U@

在新基建的带动下,云数据中心的规模化建设与边缘计算节点和终端设备的部署,将极大提升数据跨云流动和云边交互的协同需求,进而对存储系统的数据管理能力提出更高的要求。

w*_L%aS H0

 存储产业技术创新战略联盟 lO]WBo

一方面,协同架构要求存储系统实现高效的生命周期分级管理。根据读写频率不同,不同生命周期的数据对存储需求各异。例如边端传感器采集的信息,或金融系统实时处理的交易,数据的实时性强,读写频率高,对存储系统的时延、IOPS要求较高;实时数据经处理后存档,在一定时间内存在档案查询或价值挖掘等需求,读写频率较低,对存储系统吞吐量、海量文件的存取效率要求较高;当数据不再需要读写,作为容灾备份进行长期保存时,对存储系统性能要求低,但对成本要求较高。随着云存储的普及,分散在边缘云或中心云的数据对存储性能需求将呈现较大差异,云边协同和云网协同的架构要求存储系统实现数据生命周期的分级管理,实现资源的最大化利用。存储产业技术创新战略联盟5];PR5v;Mp

 存储产业技术创新战略联盟/?ne JT S.\N

另一方面,协同架构要求存储系统具备协同管理能力,满足多样化数据交互需求。当前“公有云﹢私有云”的应用模式实现了数据存储成本、灵活性与安全性的有机结合,融合多云与混合云的多云架构成为越来越多的企业数据存储的部署方案,云网协同的架构对存储系统跨云的数据统一调度与协同管理要求不断上升。随着5G、工业互联网、物联网的应用,更多的数据将在移动终端、摄像头、传感器等边缘设备产生且在边缘节点进行处理,云边协同的架构需要存储系统能够基于互联协议对云边节点的数据进行访问和管理,实现云端与边缘侧数据的汇聚与分发。

3xwhT A}j$C0

 存储产业技术创新战略联盟k]$k V R'i$]+I

作者:中国信息通信研究院泰尔系统实验室 韩超 李婷婷

#fidhX0

来源:人民邮电报

)MX[cI0

-aIR-az0

 存储产业技术创新战略联盟m+vH*~&I$w,e,Yh3c


  最新报道
  • 【行业动态】Kubernetes如何 
  • 【行业动态】解决SAN问题以 
  • 联盟成功举办“新一代全闪SD 
  • 【行业动态】先进存储构建新 
  • 【行业动态】NVMe SSD变身内 
  • 联盟举办“OpenStack大规模 
  • 【行业动态】ZNS来了!一文看 
  • 【行业动态】简单了解InnoDB 
  • 【行业动态】基于DNA的数据 
  • 【行业动态】存储性能加速引 
  •  
    
     
    存储产业技术创新联盟 | 联系我们 | 京ICP备12012807-2号
    © 2012 Allstor