2020年,我国提出新基建政策,推动各行各业加速数字化转型,也使得数据量有了高速的增长,这对于存储行业来讲,带来巨大挑战的同时,也迎来了机遇。
众所周知,传统存储通过增加容量,达到一定数据量后性能与容量成反比,无法解决飞速增长的非结构数据存储管理问题。目前最适合的解决方案之一就是分布式存储技术。
近几年时间,分布式存储正在迎来发展的最好时机,越来越多企业也在布局该领域。
其中,NVIDIA一直致力于下一代数据中心平台,同时拥有领先的计算专业知识与高性能的网络技术,可优化整体计算、网络和存储等数据中心级工作负载,助力客户实现更高的性能,更高的计算资源利用率和更低的运营成本。
这一次比特网邀请到NVIDIA网络事业部以太网产品总监王栋和点存科技CEO李浩天,与他们聊一聊现在技术如何赋能企业在新存储形势下的发展,以及两家企业的合作。
点存科技联手NVIDIA
随着计算模型和软件的发展变化,不少企业发现计算模型即将发生一个重大的变革,这也意味着分布式时代的到来。对于这一片蓝海市场,拥有巨大的发展潜力,其中点存科技是非常具有代表性的企业。
点存科技凭借自身大量的存储和计算资源,利用分布式网络,构建了一个全新的分布式云平台DC-Cloud。在平台上,用户可以选择存储托管自己的文件。在网络中,所有的文件将被采用默克尔DAG格式进行存储,保证隐私性和安全性。
利用边缘容器,点存科技将一整套环境打包封装成镜像,其中包含了存储、带宽、CPU、GPU、IP等资源,用户无需重复配置环境,解决环境带来的种种问题。
随着近年来GPU硬件算力和训练方法上均取得了重大进步,但在单一机器上,大型网络训练所需要的时间仍然长得不切实际,在接触客户的过程中,我们发现政企机构对GPU等算力资源的需求呈现短期性和集中性的特点。
随着需求的不断增加,在产品开发过程中,点存科技通过市场对比,最终选择行业顶级的英伟达作为合作伙伴。
对与点存科技的合作,王栋表示:“NVIDIA网络事业部和点存科技的合作,因为双方对新一代的产品和技术有迫切的要求,希望能够构造出新的产品和服务满足用户的要求。”
NVIDIA结合多年来的实践经验,推荐点存科技的数据中心采用基于NVIDIA的SN系列白盒以太网交换机构造的三层五级CLOS架构,IPFabric形式组网,并使用基于E-VxLAN提供的业务层服务。该方案采用了现代数据中心的典型架构,在规划和部署上应用了大量的基于最佳实践的优化技术。
李浩天表示:“点存科技对规模的计算和传输有非常高的要求,目前在行业内只有NVIDIA的产品能够满足我们的需求,接下来点存科技将会在大规模的计算中心和先进的网络架构上和NVIDIA有更多的合作,并和NVIDIA一起探索符合未来业务需求的产品。”
未来NVIDIA与点存科技的合作主要将会围绕着分布式存储和分布式GPU两个方向。
NVIDIA的技术赋能
在云服务的实践里,作为点存这样的公司,他们在建设基础设施时与大的互联网公司有近似之处,也有它自己独特之处。因此,它的规模可能不如大型互联网公司那么庞大,有它自己独特的考虑。
王栋表示:“双方对技术也有很多的斟酌,最后决定采用现代数据中心的典型架构,在规划和部署上应用了大量的基于最佳实践的优化技术。”
此基础设施是基于NVIDIA网络产品事业部Spectrum交换芯片,这也是和一些常见的实践有所差别。这个交换芯片是NVIDIA自研的产品,它也具有非常高的转发性能,同时有非常独到的特性,能够帮助用户进行自动化组网,另外,它有非常精确和细粒度的遥测功能,减轻运维的压力,最终提升整个网络的可靠性。
对于NVIDIA来说,他们一直在推动新技术实践并帮助用户从传统企业转型,在新的体系中允许用户无论是在硬件底层还是传统的操作系统,甚至于上层的Overlay的技术选择,以及Fabric构造技术的选择,都可以占据一个主导地位,而不是被一个厂家的专有技术所阻碍。
一直以来,NVIDIA在开源生态以及底层对开源支持上投入是非常大的,作为点存科技的用户来说,他们可以灵活地选择闭源产品和开源产品,这也是NVIDIA在全球其他用户的选择。在一些用户能掌控的层面使用开源的SONiC生态,在需要可靠性、支持的层面选择NVIDIA收费的Cumulus网络产品。
在基础设施应用层面之外,NVIDIA也会有更多新的创新,从而增加自己的竞争力,其中DPU对应用层面进行加速,应用层面包括了裸金属云,存储的解耦,分布式安全等。
王栋表示:“NVIDIA在管道的数据链方面希望能够给用户提供更多的灵活性,支持用户改善端到端应用的性能。现在看来,管道性能的提升相对比较困难而且比较缓慢的,应用端到端性能的提升相对比较容易,而且相对比较大的。”
写在最后
对于未来NVIDIA与点存科技的合作,李浩天表示:“未来与NVIDIA的合作将会有两个方向的重点,第一是分布式存储方向,基于NVIDIA GPU硬件特性,点存科技可以打造超高性能的NVMe的分布式存储平台;第二是分布式GPU云方向,基于NVIDIA的产品,打造分布式大规模的计算中心
从万物互联到万物智联,无处不在的连接让指数级增长的数据有了可供分析的价值,而作为传输数据的管道,网络传输层的智能化、高性能、高可靠、高弹性逐渐成为各大厂商关注的焦点。而NVIDIA的产品与技术也致力于让更多用户在面对数据时更加从容。