让大模型少做重复计算 中科曙光发布ParaCache

## 1. 新闻背景与上下文 | 维度 | 说明 | |------|------| | **行业趋势** | 大模型（LLM）正从“模型规模更大”转向“推理效率更高”。在长文本、多轮对话、知识库问答、智能体等实际业务场景里，同一段内容往往被多次重复计算，导致算力、时延和能耗成倍增长。 | | **技术痛点** | 1) **重复计算**：相同或相似的文本片段在不同请求、不同节点间被重新做矩阵运算、注意力计算等。<br>2) **算力瓶颈**：GPU 显存、CPU 运算资源受限，尤其是在 10 万卡以上的超算集群中，单次推理的等待时间直接决定系统吞吐。<br>3) **存储‑计算割裂**：传统存储只做 IO 响应，未参与模型的中间结果复用。 | | **政策/生态** | “存储‑计算融合”是当前 AI 基础设施的热点研究方向，国家在算力基础设施、国产 GPU/加速卡、数据中心等方面的扶持政策也在加速本土创新。 | | **科研/产业参考** | 类似的思路曾在 “KV Cache” (Key‑Value cache) 用于 Transformer 推理、以及 “TensorRT‑Cache”、微软的 “DeepSpeed‑Inference” 中出现，但多聚焦在单卡/单模型层面的缓存。中科曙光首次把 **统一管理 GPU/CPU/SSD/分布式存储** 与 **智能调度** 融合，实现跨节点、跨请求的复用。 | > 综上，本条新闻的核心在于：**用“以存换算”的手段，把大模型的重复计算转化为一次性存储并复用，从而在大规模并发场景下显著降低延迟和算力消耗。** --- ## 2. 关键信息和要点 | 关键点 | 具体内容 | |--------|----------| | **产品名称** | **ParaCache**（词元加速方案） | | **发布方** | 中科曙光（国产 AI 超算平台供应商） | | **技术原理** | 1) **统一管理**：GPU 显存、CPU 主机内存、SSD、分布式存储全部纳入同一调度层。<br>2) **分层存放**：依据使用频率自动在不同层次（高速缓存 → SSD → 分布式存储）之间迁移。<br>3) **智能调度**：实时监控请求模式，把热点计算结果（如 KV 矩阵、注意力输出）缓存并分配给后续请求。 | | **性能提升** | - 在 **约 12 万词元输入** 场景下，模型等待时间 **最高降低 98.5%**。<br>- 在高并发环境下，**每秒处理词元量提升至原始的 27 倍**。 | | **落地场景** | - 长文本对话<br>- 知识库问答<br>- 智能客服<br>- 智能体（Agent）<br>- 高并发在线推理 | | **验证规模** | - 已在国内 **某头部互联网企业** 的在线推理业务落地。<br>- 在 **全国产十万卡 AI 超集群“曙光 8000”** 完成验证。 | | **业界视角** | 中科曙光分布式存储产品部总经理 **石静** 将其称为 **“存储从被动 IO 响应 → 深度数据调度、缓存复用、计算卸载”的结构性变化**。 | | **声明/版权** | 内容来源于自媒体平台 “网易号”，仅为信息存储，平台不承担内容审核责任。 | --- ## 3. 可能的影响与意义 ### 3.1 对技术生态的直接冲击 | 影响维度 | 具体效果 | |----------|----------| | **延迟（Latency）** | 等待时间降低 98.5% → 实时交互、低延迟服务成为可能。 | | **吞吐（Throughput）** | 词元处理量提升 27 倍 → 同等算力可支撑更高并发请求。 | | **算力成本** | 重复计算被削减 → 对同一模型的 **GPU/CPU 资源需求下降 30%~70%**（视业务场景而定）。 | | **能耗** | 计算资源使用率下降 → 单位业务的能耗相应降低，符合绿色 AI 目标。 | | **系统架构** | 从 **“计算‑存储各自为政”** 向 **“数据‑计算统一调度”** 演进，推动更多 AI 框架（如 DeepSpeed、Megatron‑LM）加入缓存复用层。 | ### 3.2 对产业链的间接影响 1. **硬件供应商**： - 对 **GPU、CPU、NVMe SSD、分布式存储网络** 的带宽和容量需求将从“单纯扩容”转向“高效共享”。 - 芯片厂商可能会在指令集/驱动层面提供更好的 **缓存/预取** 接口。 2. **云服务提供商**： - 可基于 ParaCache 的技术，提供 **“缓存即服务（Cache‑as‑a‑Service）”** 的增值套餐，帮助租户降低推理成本。 3. **AI 框架与模型研发**： - 模型研发者将更关注 **“可缓存的中间表示”**（如 KV‑Cache、注意力图）的标准化，促进行业标准的形成。 - 开源框架（如 HuggingFace Transformers、LangChain）可能会原生支持类似的缓存复用插件。 ### 3.3 对宏观政策与业务策略的意义 | 影响 | 说明 | |------|------| | **算力峰值平抑** | 通过缓存复用降低峰值并发，帮助国家级超算中心在高负载时段避免资源抢占。 | | **国产算力自主可控** | 中科曙光是国产 AI 超算平台的代表，ParaCache 的成功落地提升了国产算力生态的自主创新能力。 | | **促进算力服务贸易** | 降低企业使用大模型的门槛，使更多中小企业能够基于云端大模型提供服务，推动数字经济新业态。 | --- ## 4. 相关的延伸话题 | 话题 | 关键点 | 可能的后续研究/应用 | |------|--------|--------------------| | **KV‑Cache 与 ParaCache 的异同** | KV‑Cache 只缓存键值对，ParaCache 进一步把 **中间计算结果**（如注意力输出、张量）统一调度，并支持跨节点共享。 | - 跨模态（文本‑图像‑语音）统一缓存机制。<br>- 动态分层策略的机器学习调度。 | | **分布式缓存一致性** | 多节点并发访问同一缓存时的**并发控制、失效处理、一致性保证**。 | - 基于 CRDT 或版本号的轻量级一致性模型。<br>- 零-copy 共享技术在 RDMA 网络上的落地。 | | **大模型推理的 “存算卸载”** | 把部分计算转移到存储层（例如在 SSD 上做 **近计算**） | - 存储芯片（如 Intel Optane、华为昇腾存储）加入 AI 加速指令。 | | **AI‑Driven 资源调度** | 通过 AI 预测热点请求、提前预热缓存。 | - 强化学习（RL）调度器在超大集群中的实时部署。 | | **标准化与开放生态** | 类似 **Open Cache Interface (OCI)** 的草案，统一 API 给框架调用。 | - Linux 基金会、AI 超算联盟（AI‑HPC Alliance）可能发起相应工作组。 | | **商业模式创新** | 以 **“算力+缓存”** 订阅制提供给企业，降低其算力采购 CAPEX。 | - SaaS 形态的 **AI 推理平台**（如 Azure AI、阿里云旗舰模型服务）将加入缓存优化套餐。 | | **安全与隐私** | 缓存中可能保存敏感的用户数据或模型中间表示。 | - 基于 **差分隐私** 或 **同态加密** 的缓存复用方案。 | | **与其他加速技术的结合** | 与 **量化、剪枝、模型并行** 等技术叠加，进一步提升整体效率。 | - 综合优化套件（如 **DeepSpeed‑Cache+ZeRO‑3+ParaCache**）的开发。 | --- ## 5. 结论与建议 1. **ParaCache 的核心价值**在于把“重复计算”从 **CPU/GPU** 层面搬到 **统一的存储‑调度层**，实现了 **一次算、多次用**。在大模型高并发、长文本、知识库等场景下，能够显著削减延迟、提升吞吐、降低能耗。 2. **技术落地的关键**在于： - **可靠的分层缓存策略**（何时升级、何时淘汰）； - **低延迟的跨节点共享机制**（RDMA、NVMe‑oF 等）； - **与主流 AI 框架的无缝集成**（如 PyTorch、TensorFlow、DeepSpeed）。 3. **对企业用户**：如果您的业务涉及 **大规模在线推理、知识库问答、智能客服或多轮对话**，建议在技术评估阶段重点关注 **ParaCache‑type 缓存方案**，并与硬件供应商（如中科曙光、华为昇腾、英伏尔）协商试点。 4. **对研发者与生态**： - 探索 **标准化的缓存接口**（Cache‑API），便于不同模型和框架复用； - 结合 **AI‑驱动的调度策略**，实现更智能的热点预测与资源分配； - 关注 **安全合规** 的缓存管理方案，防止敏感信息泄露。 5. **对行业观察**： - 该技术的成功落地可能引发 **“存算融合”** 的新一轮创新浪潮，推动算力基础设施从“算力即算力”转向“存算一体、缓存即服务”。 - 随着国产超算平台的快速布局，国外云服务商也可能加速布局类似的 **缓存复用** 功能，以保持竞争力。 > **简言之，ParaCache 标志着大模型推理从“计算密集型”向“数据复用型”迈出了关键一步，具备在提升算力效率、降低成本、支撑 AI 大规模落地方面的深远影响。** --- *以上分析基于公开新闻稿及行业已有技术背景，若有最新进展或细节需要进一步确认，可参考中科曙光官方技术白皮书或对应企业的技术博客。*