AIPod 参考架构

经过验证的 AIPod 参考架构为客户提供就绪的企业AI应用部署平台。

挑战

伴随着开源大模型的不断涌现,依托训练成熟的大模型,部署企业 AI 具体应用,已经在全球快速展开。很多企业AI应用如雨后春笋般涌现。但是,如何科学的部署企业 AI 应用。是困扰客户的一个痛点问题。经过专家测试验证的 AIPod 参考架构,为企业 AI 应用部署提供了科学的参考依据。

概述

经过验证的 AIPod 参考架构,为客户提供就绪的企业 AI 应用部署平台。包括三大主要应用场景:训推一体机,生成式 AI,RAG 等企业 AI 应用领域,AIPod 参考架构通过专业的企业级 NAS 共享,实现计算集群数据共享,并通过 100G NFS Over RDMA 连接技术,提供高速数据访问,保证系统质量。同时,通过 Trident 容器资源调度工具,与存储数据管理功能紧密结合,释放计算集群容器资源的流动性。为系统资源部署提供灵活性及安全性。通过验证的 AIPod 参考架构,客户在部署企业 AI 应用时,可避免 POC 测试,缩短部署时间,并且,通过联想服务体系提供统一的售后服务,提升服务响应能力,保证服务质量。

经过验证的 AIPod 参考架构硬件平台:

• 联想 WA5480 G3 GPU 服务器,配置英伟达 L20 GPU 卡,提供澎湃算力。
• 联想 NE10032E 100G 交换机,通过 NFS Over RDMA 方式提供 100G 数据访问连接。
• 联想 ThinkSystem DG7000 及 NetApp AFF C800 创新型全闪存存储系统,提供计算集群高速 NAS 数据共享服务。

经过验证的 AIPod 参考架构软件堆栈:

• Ubuntu 20.04 版本
• Kubernetes 1.28.0 版本
• NetApp Astra Trident 23.10 版本
• NVIDIA CUDA Toolkit12.5 版本

优势

 

  • 企业级高性能 NAS 数据共享
  • Trident 释放容器资源流动性
  • 创新型全闪存储绿色节能
  • 实时勒索病毒防护

企业 AI 应用基于已经训练就绪的大模型构建。因此,计算集群规模适中。企业相关具体业务数据量适中。ONTAP 企业级高性能NAS功能,为计算集群多节点提供数据高速共享服务,是企业级 AI 应用部署的高性价比数据底座解决方案。

产品功能

• ONTAP 专业的高性能 NAS 集群数据共享
• 100G NFS Over RDMA 数据高速连接方式
• Trident 容器资源管理工具,释放容器资源流动性
• ONTAP 自带的防勒索病毒功能,保证系统安全性

应用场景与重点行业推荐

1. 应用场景对 GPU 计算压力要求不高,规模较小,2 台到少量多台 8 卡 GPU 服务器
2. 整体环境数据量适中,充分发挥 NAS 存储文件共享,企业级存储的安全稳定及高性能
3. AI 应用专业服务导向型,经过验证的软硬件系统+专业服务,提供交钥匙工程

场景1:检索增强生成(RAG)

场景2:小规模训推一体机

场景3:AI智能驱动的科学研究

  • 1. QA 系统/智能客服
  • 2. 文档生成和自动摘要
  • 3. 智能助手和虚拟代理
  • 4. 信息检索
  • 5. 知识图谱填充