存储联盟举办“基于纠删码的容错存储系统”技术沙龙



69日,存储产业技术创新战略联盟(以下简称联盟)成功举行Storage Online13基于纠删码的容错存储系统技术沙龙。本次活动邀请中国科学技术大学许胤龙教授就纠删码容错技术进行主题报告。存储产业技术创新战略联盟 e%r1ec^1~2Z ~6U }

 

Pc[;Tb$a.N0

 

y!a5b)I6[r*U|Cv0

海量数据时代,数据量的高速增长和海量存储的不断发展,存储系统规模越来越大,导致存储系统故障成为常态。为了保障数据的可靠性,数据容错是存储系统的一个基本要素,纠删码是常用的数据容错技术之一。存储产业技术创新战略联盟0{O/W E^h

 

1T V0a:? |-B0

许胤龙教授的报告分析基于纠删码的容错存储系统的主要性能指标与系统设计时面临的关键问题,介绍了在降低编解码复杂度、降低I/O与网络负载、基于纠删码的系统扩容、多副本向纠删码转换、内存纠删码等方面的理论与优化技术,最后展望纠删码的未来发展方向,列举了结合新型存储介质、网络计算与宽条带纠删码的容错存储系统设计等方向。

i z/P w)xI`\0

 存储产业技术创新战略联盟-eA8Qv;v!Q@/T

 

N!~CPu`0

 存储产业技术创新战略联盟K i*a/i&Dv

以下为嘉宾演讲内容摘要

Noz@&@A+V)q0

 

Ze2wR4g7Bh0

01纠删码简介

cl"ft1t,s0

 

)~#m)r2W`3t0

存储系统承载数据,是计算机应用与信息处理的核心基础设施之一。磁盘失效、集群宕机、网络故障等都会导致数据丢失或暂时无法访问。因此,几乎所有的存储系统都需要有数据容错技术。多副本与纠删码是两类最常用的容错技术。多副本访问性能高,故障修复快,但存储开销大;而纠删码技术存储开销小,但故障修复慢。代表性的纠删码包括阵列码、Reed-Solomon码、局部可修复码等。

D9C Z }umS R0

 存储产业技术创新战略联盟-ZPgr0P C3C;H

02优化修复性能存储产业技术创新战略联盟(Cs.Ge(}V.U'l/s9q'Y

 存储产业技术创新战略联盟 [p-zT1a/t4P

RDP码为例,介绍了如何利用多类校验块,减少单节点故障修复所需访问的数据量,从而加快故障修复速度;针对单节点故障的快速修复,LRC码减少了了修复带宽;针对树形拓扑结构的数据中心,通过局部解码与优化数据布局,降低了故障恢复产生的跨机架流量,均衡各节点的负载,加速故障恢复。

+Z$o6ptP6kin1bLH0

 存储产业技术创新战略联盟k1Fw o5MOW/wu

03数据更新和系统扩容存储产业技术创新战略联盟@ Q[wE6x U gl0J

 存储产业技术创新战略联盟S.AFd.D'~}1bf

针对校验快更新问题,介绍了原地更新与校验日志两种方式,分析了其优缺点,并且针对磁盘与闪存盘的不同读写特性,分析了不同校验快更新技术的性能。介绍了分布式存储系统扩容场景的纠删码优化设计,降低扩容前后的编解码复杂度,最小化数据迁移量,在线迁移中优化用户I/O请求。

q?*J TWCyDR0k0

 

-Bl+@ows!W^O0

04一些潜在的技术发展存储产业技术创新战略联盟0Y^#B)l$x

 存储产业技术创新战略联盟,EJ2Ub1WP

如何利用纠删码技术来缓解分布式机器学习系统中的拖累着问题,以及实现技术上的挑战。如何针对新型存储器件的特性,如支持覆盖写、支持按字节寻址等,设计高效的纠删码以及相应的校验快更新技术,减少写放大等问题。宽条带纠删码设计问题,如降低了冗余开销,但增加了修复开销和校验快更新成本等。存储产业技术创新战略联盟DE${c.Q%^W/X Z7y)W

 

5q^$]yB6M,p7{ S0

联盟本次技术沙龙从纠删码这一常见的数据冗余技术出发,汇聚学术界、产业界的观点,共同讨论解决数据编码、数据更新、降级读以及故障修复等过程中会引起大量的CPUI/O和网络负载问题,为海量数据提供可靠性保证。联盟注重存储领域的实际应用问题探讨和落地,为产学研合作搭建桥梁。

-Y"jh| \#oJ0

  最新报道
  • 联盟举办“基于近NVM计算的 
  • “基于近NVM计算的系统软件 
  • 盛世华诞 举国同庆
  • 月满人间 福泽万家
  • 【行业动态】不可变对象存储 
  • 【行业动态】机械盘固态盘能 
  • 存储联盟举办“基于纠删码的 
  • 存储联盟举办“超级存储与蓝 
  • 【行业动态】分布式存储的七 
  • 【行业动态】三个优秀的云存 
  •  
    
     
    存储产业技术创新联盟 | 联系我们 | 京ICP备12012807号-5
    © 2021 Allstor