“企业级存储性能如何测试更科学可信”技术沙龙成功举办



10月27日,存储产业技术创新战略联盟(以下简称“联盟”)在线上成功举办了Storage Online第八期“企业级存储性能,如何测试更科学可信”技术沙龙。本次活动由联盟和国家信息存储工程技术研究中心共同主办,邀请浪潮资深存储架构师叶毓睿,就存储行业性能评测的权威标准 SPC-1 基准测试与浪潮存储的应用实践进行深度剖析和解读,吸引了 160 余名科研技术人员参与讨论。存储产业技术创新战略联盟^tZ.ox3M*D1@0j


`:vu%FZ;mbDQ0x l0

一、为什么要关注存储性能

p%C,ZY2?0

2~4r#_]XA$u.Oy0

随着各行业规模的不断扩大,智慧化转型的不断加速,数据应用于营销、决策和分析变得越来越重要,快速响应市场需求和变化的能力已经成为企业竞争的决胜因素,企业不惜为此付出高额成本。例如,高频交易公司 Jump Trading 在芝加哥商品交易所数据中心对面,花了 1400 万美元买了一块 12 万平方米的空地,并架设了微波通信基站,仅仅为了节省 0.07 毫秒时间。又如,高速网络供应商 Spread Networks 大概从 2010 年开始,花费 3 亿美元挖通修建了一条横穿阿巴拉契亚山脉的光缆隧道,目的是让光缆不用绕道,将数据传输时间缩短大约 3 毫秒。

"^J-n"tU3R!V+f6z/A0


&[~3t*wi]+QhN0
随着 5G、人工智能、虚拟现实等新技术的落地,数据中心势必会迎来一波接一波的性能压力,存储系统首当其冲。如何精细地满足各种 I/O 压力,可能会成为下一代存储系统发展的重点课题。
存储产业技术创新战略联盟 W/Q;]~ C

二、怎样衡量存储性能存储产业技术创新战略联盟$Du sw#Qs!V


g%o$s DX l\eh0

IOPS (Input/Output Per Second) 即每秒的输入输出量(或读写次数),是衡量存储系统性能的主要指标之一。IOPS取决于很多测试参数:

2Wwd!W4KU)F)L0


[u*l;o#ah8X0

1)测试数据的类型:顺序还是随机;存储产业技术创新战略联盟Of:k'trj;L

2)测试数据块的尺寸大小;

C@` t2Of/Hm;V g0

3)被测存储产品的RAID级别设置;存储产业技术创新战略联盟HtlqN#HO O3v

4)被测存储产品的磁盘数量及转速;
……


G Sr:z p;?3^l0

存储性能测试工具有很多,如可以模拟多种场景SwingBench许多大型集采项目采用VDBenchOracle 提供的独立工具Orion可模拟 OLTP 性能测试的FIO等。

I~5Pe S9y0


存储产业技术创新战略联盟C0K-T IVA3H

采用相同测试标准并尽量符合用户业务需求是衡量存储性能的有效方式,对此,业界普遍认可由存储性能委员会(Storage Performance Council,简称SPC)推出的SPC-1测试标准。


存储产业技术创新战略联盟7M,O"DpOuq ~)m

三、SPC-1是什么存储产业技术创新战略联盟?e3yNqJ


"I_ ?)FhB3~ q0

存储性能委员会成立于1999年,是存储业界知名的专业评测机构,由于其评测标准公正、客观,吸引了全球数十家存储厂商参与,其评测结果也成为企业存储选型的风向标。

f C.^Nj1J0


存储产业技术创新战略联盟)U6RG5qp-psx

SPC-1 是 SPC 推出的一种衡量存储系统在执行关键业务应用时性能的测试标准,主要以随机 I/O 操作为特点,包括查询和更新操作,如 OLTP、 数据库操作和邮件服务器运行等。SPC-1 是存储业界较为全面、科学、严苛的存储性能测试,可确保所发布数据的准确性、完整性、真实性和可复制性。为什么推出 SPC-1?

9AW&sG$o ?ht0


%y{0IF |[1ulSr0

1) 单纯某项指标的测试往往不足以反映业务性能。比如说,在我们的存储阵列当中,通常有结构化数据和非结构化数据两类业务场景,结构化数据虽然 IO 小,但是它的每个 IO 都很重要,有些时候是和金融交易直接关联的。存储产业技术创新战略联盟:Pg M!}#g


f'J|dZ|0

2) 在线业务具有如下特征:
存储产业技术创新战略联盟)_BoJKz?


存储产业技术创新战略联盟Xd#u7fg

·对读写反映时间敏感;(实际默认 1 毫秒以内)
·工作负载动态变化;(负载高低不断变化)
·存储空间可靠性要求高;(不能抖动,有时需故意降低负载)
·用户访问行为多样化;(多种 IO 模型)
·要求数据持续保存而不损坏或丢失等(故障情况下,无需人工干预)


存储产业技术创新战略联盟-J/C:?vWP,y'muas

四、SPC-1测试流程存储产业技术创新战略联盟@/D.C|9Q9w$K


rnH&^t%X0

(w9l}!Z5V-R0

SPC-1 测试内容主要包括 metrics 和 persistence 测试,其中 metrics 主要关注存储系统的性能和稳定性,persistence 主要关注数据一致性和系统可靠性。测试流程如下图:存储产业技术创新战略联盟a)N+K$y"lZ

~ kU!eXham0

整个 SPC-1 测试既非常科学,又非常严格,涵盖了存储系统会遇到的各种压力模型,最真实的反映了客户在线业务的需求,除了性能这一指标外,在系统稳定性和可靠性上也提出了极高的要求,比如 8 小时的持续烤机测试,不同负载下的稳定性测试、静默测试、循环压力测试、反复掉电测试等。存储产业技术创新战略联盟 c&S@*]| C


nicrym0

五、SPC-1测试报告关键要素存储产业技术创新战略联盟\i:O*LR~%L


存储产业技术创新战略联盟8|g#](ApLF6`C#L

1. 可靠性存储产业技术创新战略联盟4K(z0XD'v7k cB


存储产业技术创新战略联盟x @ o5n$?F6B@

在整个测试过程中,多个阶段都会检验数据的一致性。例如初始化阶段、SPC IOPS 阶段(Primary Metrics Test Phases)、……、关电重启再校验数据的一致性,确保存储能够经受高可靠性的严格测试。

"K`6j.O]!J,\)h0


存储产业技术创新战略联盟Q%K;He1y5W)S4BNC6lK

此外,还要求合规的 TSC 能够防止单点故障,并明确提出:任何存储设备在 TSC 中的单点故障,都不要用户干预,来恢复对基准数据库的访问;任何组件在 TSC 中的单点故障,都不要用户干预,来恢复对基准数据库的访问。存储产业技术创新战略联盟 O@6?f F*QS$uN1EM

  存储产业技术创新战略联盟6Dm|Z{p%|"?7G

备注:TSC 指 Tested Storage Configuration,用于测试的存储的配置。

&n9X Jx6\0


hnY \7|/h2{/P0

2. IOPS存储产业技术创新战略联盟'X ?.n(T*r.@


L2z#vxU0

SPC-1 IOPS 是一个科学的,但又复杂的 I/O 模型的负载组合。参与厂商需要对自己的存储有着深入的了解,先预估出比较合理的性能高峰值。然后再根据这个值,运行SPC-1 的 I/O 模型,在延时、可靠性等约束下,是否能够符合要求。如果不符合,再去调整性能高峰值。

IJ6KD[ glXQ0


4Nc,s8D*M7|0

如果预估值是 752 万 IOPS,那么负载百分比(Load Percentage)为 100 的时候,压测的性能就是按照 752 万 IOPS 准备的。例如下表的 RAMPD_100、SUSTAIN、RAMPU_100、REPEAT_1_100、REPEAT_2_100。而 RAMPD_10 对应的 Load Percentage 是 10,也就意味着这个 Test Group 的压测按照 75.2 万 IOPS 准备。

f-po*Y D*q7_ IGj0

$n Q]3T$K0

存储产业技术创新战略联盟"d)nP qXwZkW O

;nL5N:]6B4R&IWv0

浪潮存储根据 SPC Benchmark Official Specification,制作了一份简单易懂的表格,如下图:

@7h9{Zr4d!Y8G@0

存储产业技术创新战略联盟zI-`)?Oln

kNH"h-IS!{+j0

存储产业技术创新战略联盟!] K4m!Jh Gt%b

存储产业技术创新战略联盟Z4ti_ B
存储产业技术创新战略联盟~#B#i p4B6C9bv

三个ASU(Application Storage Units,业务应用存储单元),分别提供 45%、45%、10% 存储空间比例,总和为 100%。每个 ASU 有着不同的 IO 流,ASU1 是Data Store,例如它的第三类 IO 流,它的 IO 块大小不是固定的。不同 ASU 的不同 IO 流,都有着各自的流负载,并规定了读写比例。所有 IO 流(总共 8 种)的读负载总和与写负载总和之和为 100%。总结来说,读写比例 4:6;随机顺序比例 6:4;块大小以 8K 为主

存储产业技术创新战略联盟;e{q ~5[
存储产业技术创新战略联盟%d;Cd)M]Z

3. 延时存储产业技术创新战略联盟,O%[\ aP)a b)Rv


存储产业技术创新战略联盟;AXR:|`~

延时方面的指标有两个:存储产业技术创新战略联盟 p|?vCR1N


存储产业技术创新战略联盟|5w/pQ oF3^ e

1)平均延时,也即 SPC-1 IOPS Response Time。

yrPG m0

2)总体响应时间,也即 Over all Response Time。

b2^3^7[2|%~0

存储产业技术创新战略联盟\"[g}3e;M

I*X\mi4U"S0

4. 成本存储产业技术创新战略联盟.e"V-xvn b _


azu3e#p0

成本方面的指标至少有两个:存储产业技术创新战略联盟FKT-lP&H$\7EK


)w_Y-Cf3~D-b[0

1)性能价格比:SPC-1 PRICE-PERFORMANCE,SPC-1 总性价比的计算方式是使用系统总价格除以 SPC-1 IOPS,有时衡量单位是$/SPC-1KIOPS,表示每千个 SPC-1 IOPS 的价格。

+f*F[(kL_8h0

2)容量价格比:SPC-1 ASU Price 定义为总系统价格除以 SPC-1 ASU 的容量,衡量单位是 $/GB。

%_Q#\"H L[t,n5t0


存储产业技术创新战略联盟?"F+umXCDa

伴随 5G、大数据、人工智能、工业互联网等新基建的加速推进,大数据中心正在成为新基建的刚需,其中数据处理成为核心诉求。行业数字化场景应用对数据存储百万级甚至上千万 IOPS 亚毫秒级延迟需求将成为新常态,企业用户对高性价比存储阵列的需求也将不断提高。工程中心依托单位浪潮在探索存储极致性能和性价比方面,不断进行前沿技术应用创新,在最新公布的 SPC-1 基准评测报告中刷新了 SPC-1 性价比榜单全球最优成绩,这是继今年浪潮存储在“性能”赛道打破 16 控和 8 控性能记录之后,夺得的本年度第三个世界冠军。存储联盟将继续以技术创新需求为纽带,围绕存储产业技术创新的关键问题,不断构建存储专业人士的技术交流圈,为产学研的有效结合提供了便利的平台,为提升存储产业的创新和长远发展做出努力。

  最新报道
  • 存储联盟“未来存储 路在何 
  • 【行业动态】视频存储的新趋 
  • 【行业动态】论文:基于几个原 
  • 存储联盟成功举办“全同态加 
  • “企业级存储性能如何测试更 
  • 【行业动态】固态硬盘与机械 
  • 【行业动态】COVID-19如何影 
  • 【行业动态】2024年亚太地区 
  • 存储产业技术创新战略联盟祝 
  • 【行业动态】Kubernetes如何 
  •  
    
     
    存储产业技术创新联盟 | 联系我们 | 京ICP备12012807-2号
    © 2012 Allstor