背景:大海里,鱼类可以毫不费力地做到兼具速度与优雅于一身,最快游速达每小时 70 英里,而人类甚至难以达到每小时 4 英里,即便潜艇也只能达到每小时 50 英里。鱼类为何能获得如此快的速度,这个问题令物理学家、生物学家和工程师们着迷;如今面对“数据密集型”新范式,为了帮助企业在数据海洋里游出加速度,各家存储厂商也纷纷放出大招。
真实海洋里,鱼类的高速游动涉及到复杂的3D流体动力作用
在数据“海洋”,浪潮面对数据密集型新范式带来的性能挑战提出应对策略
上海油压工作室图片来源:麻省理工科技评论
正文:
上海油压工作室7月28日,2022全球闪存峰会线上召开,汇聚了国内外专家学者,共同论道全球闪存与存储半导体产业发展趋势。浪潮信息存储产品线副总经理李博乐表示,随着云、大数据、AI等新技术快速发展,数据成为数字经济时代的关键要素和核心引擎。浪潮存储的使命是秉承浪潮信息智慧计算战略,为企业构建以存储平台为核心的业界领先的数据基础设施,基于盘控协同充分释放闪存力量。
浪潮信息存储产品线副总经理 李博乐
数据密集型新范式 考验数据处理能力
上海油压工作室模拟脑神经网络,探索人脑上千亿个神经元之间是如何连接与工作的,带来每秒百TB级数据高吞吐量;1000辆自动驾驶汽车每天产生数十PB的实时数据,用来训练AI视觉识别算法;油气勘探,一次三维勘探会产生PB级原始实时数据,后期数据分析和处理中还会生成15倍体量的次生数据……
数字经济时代,在“数据密集型”的新范式驱动下,传统数据中心正在向云化数据中心快速演进。这是因为在传统数据中心中,应用与基础设施紧耦合,IT架构呈现孤岛状,数据不流动、不共享,如同一潭死水。而在云化数据中心中,计算资源实现了虚拟化,信息孤岛被打通,涓涓数据河流汇聚成汪洋大海,各个行业可以基于海量数据间的相关性分析加速业务创新,创造新商业、新业态。
例如,在当前非常热门的类脑科学研究,有一个重要的方向就是多模态多尺度数据分析理论与应用。首先建立脑成像中心,全套磁共振成像设备对小动物或者人体进行脑成像,不断采集和分析脑科学数据,构建起多模态多尺度脑数据库;然后,再利用模式识别、深度学习等类脑智能方法寻找基因、脑影像和认知功能的诊断指标,以揭示脑疾病致病机制、提升脑疾病临床诊断以及药物疗效评估的准确性和效率。这个例子只是冰山一角,“数据密集型”新范式已经成为驱动各行各业创新型发展、高质量增长的加速器。
然而,正如硬币的AB面,数据密集型新范式、数据中心云化在为大数据挖掘带来利好的同时,也使得数据基础设施需要面对海量的客户端、应用,爆炸式增长的海量多模态数据,对数据基础设施的处理能力提出了更高要求。
以盘控协同为核心 释放闪存潜能
上海油压工作室面对海量新数据、新应用挑战,浪潮存储如何释放闪存的性能呢?对此,李博乐表示,浪潮提出新存储之道,坚持存储即平台理念,以盘控协同策略为核心,充分发挥闪存性能,打造极致性价比。
浪潮存储
上海油压工作室首先,存储系统要想发挥出闪存的性能,需要闯过三道关。第一,随着NAND介质、NVMe协议、SCM等新介质的出现,存储系统性能的瓶颈已经不在盘上,而在于软件栈,要想用好性能较高的闪存盘,就需要优化存储系统软件栈,解决系统性能瓶颈。第二,过去的若干年CPU的发展一直遵循摩尔定律,性能飞跃式发展,但最近几年,CPU性能的发展进入瓶颈期,性能提升缓慢,如果想进一步提升存储系统性能,就需要借助DPU、FPGA、数据压缩卡等额外的硬件做协处理,对系统进行加速。第三,数据存储需要优化元数据和数据的写入策略,减少不必要的垃圾回收,提升系统性能。
上海油压工作室其次,存储系统如何降低闪存的使用成本。虽然闪存的成本在趋势上不断下降,会替代2.5寸机械盘,但成本仍高于3.5寸大容量机械盘。另外,不同闪存介质,对应的可擦写次数或者说使用寿命是不同的,而且差异很大,比如当前主流的TLC和QLC介质可擦写次数就相差5倍。所以根据数据热度的不同,合理使用介质,以及提升介质寿命和空间利用率,可以有效降低使用成本。
上海油压工作室对于上面两个难题,李博乐认为,盘控协同是最优解。
比如在提升性能方面,浪潮存储是业界唯一具备存储软件栈和闪存盘全栈的技术研发能力的厂商,可以通过盘控协同,推进闪存盘面向特定场景的定向调优,存储系统性能;还能基于元数据与数据的写入优化,降低写放大,让系统性能再上一个台阶。在SPC-1国际基准测试中,浪潮存储六次刷新存储性能世界记录。
上海油压工作室李博乐表示,今年IPF上,浪潮存储还出新一代PCIe 4.0 NVMe 企业级SSD。我们通过拓展NAND与控制器之间的通道,大幅提升SSD性能,实现业界领先的性能水平,其中顺序写性能超过5GB/s,随机写性能超过45万IOPS,超越所有主流厂商。
又如围绕降低闪存使用成本这个难题,浪潮存储采用介质分层技术,将不同热度的数据存在不同的介质中,避免介质性能瓶颈和介质“大材小用”,此外,像浪潮这样拥有介质研发能力的厂商,通过不断优化数据管理算法和容错算法,能够提升SSD盘本体寿命,降低客户TCO;并且通过盘控协同,通过合理的数据组织减少写放大缩减闪存盘的OP,提升SSD的空间利用率。
李博乐表示,目前,浪潮信息聚焦智慧计算战略,以算力、算法、数据、网络四大支柱,为客户构建开放、敏捷、集约、高效的数字信息基础设施。浪潮存储近几年表现非常亮眼,市场增速中国第一,存储装机容量已经位居全球前三、中国前一。今后,浪潮存储希望借助新一代G6存储平台、企业级SSD,以全栈技术创新加速存储业务增长,释放数据价值加速数实相融。