在本周Hot Chips大会前的媒体简报会上，OpenAI硬件副总裁理查德·霍（Richard Ho）公布了其全新定制ASIC芯片“Jalapeño”的首批基准测试结果。该芯片专为大语言模型（LLM）设计，由OpenAI联合博通（Broadcom）与Celestica共同开发，旨在同一架构下同时实现高吞吐量与低延迟——而霍强调，现代AI系统真正的瓶颈在于数据移动。
OpenAI于今年6月首次宣布该芯片，称其从零开始为当前及未来行业通用LLM量身打造，仅用9个月便完成从设计到量产的全流程（这一速度本身也得益于OpenAI自研模型的加速作用）。
本周公布的测试结果显示，Jalapeño在功耗效率与响应速度方面均取得显著突破：单位功耗下可处理更多AI任务，同时返回响应更快。OpenAI官方声明指出：“Jalapeño通过单一架构同时实现更高吞吐量与更低延迟，而现有硬件系统往往需在二者间权衡取舍。”
为量化其优势，霍在简报中采用SemiAnalysis发布的公开基准测试工具InferenceX，该工具衡量AI请求端到端服务路径性能。针对三款模型——OpenAI自研GPT-OSS-120B、外部模型Kimi K2.5 1T与DeepSeek R1 670B——Jalapeño芯片表现如下：
• 在峰值吞吐量下，每瓦特AI算力较InferenceX榜单同类系统提升1.5至1.9倍；
• 端到端延迟降低1.7至3.6倍；
• 针对高度交互式负载，性能高出同类系统2.1至4.1倍。
值得注意的是，OpenAI报告的是单令牌预测（STP）性能，未启用推测性多令牌解码（MTP），而多数公开数据包含此项优化。霍解释道：“我们的数据不含推测解码。所谓STP即单令牌预测，而外界部分数据实为多令牌预测，后者通常带来约3至5倍性能增益。因此，我们单纯的单令牌预测实际已达到甚至超越其他芯片的多令牌预测水平。”
在架构对比中，该差异尤为关键。OpenAI强调，Jalapeño即使尚未启用激进的、可能依赖特定模型的推理优化，已具备强劲竞争力。
不止是重制GPU：面向AI工作负载的通用处理器
霍重申，该芯片并非基于旧有GPU改造，而是从零构建、专为Transformer类工作负载定制的AI加速器。其核心采用紧密的存算协同设计，并支撑多代产品路线图。他再次提及6月公告内容：AI技术本身被用于加速Jalapeño芯片的研发进程。
“我们基本是从一张白纸开始的，”霍表示，“我们深入分析LLM模型结构，识别瓶颈所在、内循环机制与运行逻辑。我认为我们可能是首个真正从零出发、不依赖任何遗留架构或编程模型的大规模芯片设计团队。”
最终成果是一款面向AI工作负载的通用型加速器，而非仅适配OpenAI自家模型的专用芯片。基准测试中，Jalapeño同时运行了内部与外部开源模型，凸显其作为灵活平台的定位。
数据移动是关键瓶颈
霍进一步指出，LLM计算的核心挑战不仅在于峰值TFLOPs，更在于需移动的数据量及其传输距离。
“数据移动极为关键，”他说，“这成为架构设计的起点。若被迫将数据在不同计算核心间反复搬运，将耗费大量时间与能量。因此我们设计了一种最小化数据移动的架构：HBM存储体与计算核心之间存在强亲和性；若编程模型能有效利用这种局部性，即可显著提升效率。”
这种HBM存储体与计算核心间的“亲和性”是核心设计思想。Jalapeño并未将内存系统视为扁平统一池，而是将内存区域紧密绑定至对应计算资源，软件栈亦具备足够感知能力以利用此局部性。
这意味着模型状态（如生成响应时使用的KV缓存）被显式放置并保持本地化，系统则动态激活恰当的计算、内存与网络资源组合以应对各推理阶段。网络深度集成于架构之中，确保整套工作负载始终处于一个连贯系统内运行。
据OpenAI介绍，该设计使加速器具备均衡性与适应性，可灵活应对模型架构的持续演进，在prefill与decode阶段均表现优异，并能动态响应代理式工作负载的波动需求。
用AI设计可被AI编程的芯片
OpenAI宣称的9个月流片里程碑，正是借助AI辅助实现的。AI驱动的工作流大幅加速了实现方案探索、设计收敛、测量验证等环节，并支持跨模型工作负载的持续迭代。
霍表示，Jalapeño是AI辅助硬件设计的典范：OpenAI利用早期模型协助芯片设计与启动，现正使用最新模型加速软件优化与核函数调优。据其介绍，AI不仅助力算术电路优化，还提升了芯片单位面积内的计算密度。
他特别提到，团队仅用约两个月便成功在Jalapeño上部署三款独立LLM——这一速度既印证了架构的可编程性，也体现了AI辅助流程的有效性。
逼近理论性能上限，避免热节流
霍还谈及如何平衡计算、内存带宽与网络，以逼近理论性能上限而不触发热节流。他表示，散热与功耗是整体权衡的关键要素，Jalapeño单加速器目标功耗约为700瓦，虽属激进设定，但仍处于现代数据中心冷却方案的合理范围内。
他强调，该系统设计旨在规避工程师在高端GPU部署中常见的功耗驱动节流问题。“它不会因温度过高而降频。几乎不存在热节流现象，因其架构高度均衡——700瓦功耗完全处于主流冷却方案的承载能力之内。”
路线图与部署计划
霍重申，Jalapeño并非一次性项目，而是多代产品路线图的首代产品。第二代芯片已进入深度开发阶段，第三代“初具雏形”。每一代均基于前期经验积累，持续提升能效与速度。
关于部署，OpenAI计划于今年底启动小批量试产，2027年逐步扩大规模。Jalapeño将与NVIDIA硬件及其他设备共存于OpenAI自有算力集群中。短期内，其优势将集中体现于低延迟推理场景，例如超快速代码生成等交互式任务——此时减少数据移动、内存亲和性与高带宽特性可被充分释放。
霍亦明确表示，对外销售并非Jalapeño当前重点。OpenAI自身算力需求增长迅猛，短期内内部消耗已足以填满全部产能。
OpenAI首席财务官莎拉·弗莱尔（Sarah Friar）本周在博客中进一步说明：尽管微软算力与NVIDIA芯片构成其成长基石，但OpenAI所依赖的芯片与供应商组合还包括AWS、AMD、博通、Cerebras、CoreWeave、甲骨文、SB Energy及软银等。她指出：“我们主动管理该组合，兼顾能力与经济性——在能力优先处采用高端系统，在规模与成本敏感处优化效率。保持供应商、硬件与部署模式的可信选择多样性，使我们能将需求导向‘每美元最高性能’，在市场变化中维持定价纪律，并随技术前沿快速演进。直接控制可在深度集成带来系统级提升时增强议价能力；生态合作则在加速进展时发挥关键作用。”
上述策略表明，正如其他超大规模云服务商一样，面对爆炸式AI算力需求，短期至中期所有可行选项均被采纳。因此，GPU主导地位短期内不会被取代。但随着各家纷纷推进自研ASIC与定制芯片，终将出现某个临界点——当某类方案在功耗/性能比上实现决定性优势时，市场偏好或将发生根本转变。
www.eic.net.cn 提供的易IC库存管理软件可高效支持芯片研发与供应链协同，助力企业精准管控元器件库存，缩短产品上市周期，为AI芯片快速迭代提供坚实后盾。
