千亿量级的搜索背后，浪潮软件定义存储如何将小文件读写性能提升30%
来源：高速铁路与轨道交通 作者：今日轨道交通 发布时间：2018年12月25日
海量小文件读写性能提升30%，浪潮怎么做到的？
关键词：浪潮软件定义存储、海量小文件读写、浪潮AS13000
导语：打开购物软件，搜索早已经“种草”的商品并下单，这是我们再也习惯不过的生活方式。但在轻松愉快的购物旅程的背后，海量小文件的读写，成为存储系统“难题”。为了帮助电商、交通、广电等行业化解海量小文件的存储压力，浪潮AS13000 进行了广泛创新，能够提升30%以上的小文件读写性能，将业务处理速度增加数倍。
面对千亿量级的小文件，存储系统压力山大
所谓小文件，指的是存储占用空间相对较小的文件，一般来说低于64MB的文件就可以被认定为小文件，而大量的小文件大小则在几KB到几十KB之间。在云计算、大数据业务中，文本、图片、音乐等是典型的小文件应用场景。
随着数字化创新的加速，组织内部的数据呈现出指数级增长的趋势，特别是小文件更是随着业务增长到一个巨大的量级。与大文件的存储不同的是，大量磁盘在小文件存储场景中的性能极低，单块企业级SATA磁盘如果全部存储4KB左右的小文件，带宽只有520KB/s，远远小于应有的120MB/s的带宽标准值，很容易因为存储系统的性能不足造成上层应用“卡顿”。把磁盘全部换成固态盘固然可以解决问题，但是，固态盘的价格数倍于SATA磁盘，对于很多用户来说，全面的应用固态盘在成本上仍然不现实。
百亿~万亿量级的小文件对存储性能提出挑战
浪潮存储产品经理杜剑表示：“海量小文件的读写需求在近几年来快速增长，特别是在人工智能、高性能计算等应用场景中，往往需要对于海量的数据集进行随机读写操作，存储系统的性能不足将会带来高时延，从而直接影响应用的效果。为了解决海量小文件的读写问题，浪潮除了尝试在硬件上进行重构之外，还致力于通过软件层面的技术创新来进行改善。”
解决海量小文件的读写难题 浪潮有三板斧
作为了面向云计算、大数据存储的高性能集群架构产品，浪潮软件定义存储 AS13000 可以帮助用户搭建存储资源池，为上端应用提供其所需的存储资源。为了提升海量小文件的读写性能，浪潮 AS13000 从云数据集群、小文件聚合、文件分层三个层面进行了创新。
浪潮软件定义存储AS13000
其次，小文件聚合技术创新。在前面我们也提到过，磁盘读写大文件的速度往往要显著高于小文件。为了利用这一特性，AS13000 中的小文件并非直接落盘，而是合并为64MB之后再进行落盘操作，从而有效降低小文件写入磁盘次数、减轻写数据压力，同时还提高读取命中率并缩短读 I/O 路径。
最后，文件分级计算创新。AS13000 会根据集群系统中文件的大小、类型、存放时间等元数据属性，将满足用户所设置分级策略的文件分别迁移到不同性能存储介质上的存储池中。其中，在线存储使用高速存储介质，应用于文件读写频繁且对性能要求较高的场景，近线存储使用低价、低速的存储介质，应用于对文件读写带宽和存储容量要求较高的高带宽、大容量场景，这样有利于实现速度与成本的平衡。
经过验证，在应用了这些技术创新之后，浪潮 AS13000 在海量小文件的读写性能方面有了显著的提升，理论测试中的提升幅度超过30%。
浪潮软件定义存储服务交通、广电、通信等行业用户
在电商、交通、机器学习、高性能计算等实际客户的存储系统应用实践中，浪潮 AS13000 显著的提升了海量小文件的读写性能。在某工业技术研究院的高性能计算应用中，浪潮 AS13000 通过小文件读写性能的优化将作业耗时降低了20%；在某警务云的搭建实践中，浪潮 AS13000 在应对8KB-64KB 小文件读写时，整体集群 IOPS 高达110000，比预期值提升了30% 左右。
海量小文件读写速度的提升对于上层应用效率的提升可谓“立竿见影”。例如，在某市骨架路网的视频监测中，浪潮 软件定义存储AS13000 将图片检索用时从十几秒降低到3秒以下，交通监控图片取证实现“秒开秒解”，交通执法取证的速度更是提升几倍。除了极高的性能表现之外，浪潮AS13000还具备极高的可用性、安全性，是搭建面向云计算、大数据存储的高性能集群架构的优先选择。
本文转载自《高速铁路与轨道交通》，如有侵犯您的权益，请与我们联系及时删除版权作品。