DRAM是人工智能（AI）内存体系的核心支柱，但并非数据中心AI内存层级中唯一的關鍵组件。
现有内存技术正被重新整合至整个AI计算栈中，以在容量、延迟与功耗之间取得更优平衡。
随着高带宽内存（HBM）因AI需求激增而持续供不应求，原本为智能手机及客户端设备开发的低功耗DRAM（LPDDR）和小型压缩式附加内存模块（SOCAMM）等技术，也逐步进入AI数据中心内存架构。这主要源于“每瓦性能”已成为数据中心的关键指标，同时推理类工作负载显著增长。
若资金与供应不受限，HBM将无处不在；但现实情况决定了必须构建多层级的内存与存储体系，在成本与性能之间做出合理权衡。
低功耗内存向上迁移
LPDDR专为电池供电设备（如智能手机）设计，具备低功耗、足够带宽与紧凑封装等优势，这些特性同样使其在AI数据中心中极具吸引力。
JEDEC即将发布的LPDDR6标准将进一步拓展其应用场景，不仅面向移动平台，还将支持部分需要高能效、大容量内存的数据中心与加速计算任务。结合SOCAMM封装形式，LPDDR可显著提升靠近CPU位置的内存容量与能效，有效缓解“内存墙”问题——尤其对token密集型模型而言，有助于降低运营成本与热管理压力。
SOCAMM模块将高密度LPDDR芯片集成于紧凑且可维护的封装内，相较传统注册双列直插式内存模块（RDIMM），其单插槽容量与带宽大幅提升，从而支持更大的键值（KV）缓存，并减少推理与检索场景中的片外往返次数。
相较于标准DDR5 RDIMM，SOCAMM功耗仅为前者的三分之一，且更易于堆叠部署，最终实现推理及多数生产级AI工作负载更高的“每瓦性能”。美光近期推出的256GB SOCAMM专为高密度、可维护服务器架构设计，单CPU内存容量远超传统RDIMM；该产品采用美光1-gamma DRAM制程与单片32Gb芯片，显著提升容量、优化能效，并通过将KV缓存从HBM卸载，缩短AI推理首token延迟时间。
美光云内存产品副总裁兼总经理Praveen Vaidyanathan向《EE Times》表示：“低功耗DRAM在数据中心的应用潜力极高。某些应用场景与该产品特性高度契合。”
这一容量跃升意义重大：AI工作负载正加速转向推理阶段，响应时间与内存占用已成为核心设计约束，内存与计算单元需协同满足应用需求。Vaidyanathan指出，新兴工作负载（如混合专家模型、多模态AI及智能体系统）大幅提升了对“近计算内存”的需求，长上下文窗口亦日趋普遍。“在此背景下，内存带宽至关重要。”
他进一步强调，AI系统正日益围绕“合适的内存组合”进行优化：“我们必须持续聚焦效率——无论是性能、容量还是功耗。”
HBM无法包揽一切
美光并不认为SOCAMM将取代HBM，而是将其定位为更广泛内存层级中的中间层：随着推理需求增长，不同层级内存将承担差异化角色。“热KV缓存保留在HBM中，温KV缓存置于低功耗DRAM，冷KV缓存则交由高速存储处理”，Vaidyanathan解释道。
Objective Analysis首席分析师Jim Handy指出，LPDDR与SOCAMM在数据中心获得青睐，主要得益于其容量优势与快速访问能力——而非因其专为AI设计。
与此同时，HBM因AI需求而供不应求，其制造依赖DRAM堆叠工艺。“HBM已被AI预订一空，自然对DRAM市场形成压力”，Handy表示。
他补充道，超大规模运营商愿为更高能效支付溢价，因其精算过电力与整机成本——“每瓦性能”成为决定性因素，尤其当AI占据数据中心支出大头时。“若采用这种更昂贵的组件，可显著降低整体功耗”，Handy强调。
瑞萨电子（Rambus）同样看好SOCAMM在数据中心的应用前景。该公司近期宣布推出基于LPDDR的SOCAMM2芯片组，这是其规划中面向未来AI系统的LPDDR服务器模块芯片组系列的首款产品。
与美光类似，瑞萨正致力于构建分层内存体系。瑞萨院士兼杰出发明家Steve Woo向《EE Times》表示：“训练阶段HBM占据主导地位——人们拥有大型基础模型；但推理阶段则完全不同。”
Woo指出，AI内存选择正日益强调“适配性”而非单纯速度。“推理场景无需盲目投入HBM，当GDDR与DDR等低成本方案已足够时，应理性决策。”他补充道：“AI存在不同层级与能力要求，解决方案的选择取决于预算、模型规模与具体应用场景。”
此转变意义深远：最大规模AI工作负载已无法容纳于单一内存层；内存分层意味着GPU仅保留最频繁访问数据，其余数据则下移至SSD等层级。
功耗同样是关键制约因素。Woo指出，在高性能GPU中，超过半数功耗用于数据在计算单元与内存间的反复搬运，因此架构、互连技术（如Compute Express Link，CXL协议）备受关注。
对Woo而言，经济逻辑与技术逻辑同等重要。内存选型日益反映“谁为性能买单”、“愿投入多少成本”，以及工作负载属于高端定制还是价格敏感型。
AI重塑内存层级结构
上述现实正迫使数据中心将内存视为多层系统，而非单一高速内存池。
英飞凌科技（Infineon Technologies）内存业务副总裁兼总经理Sandeep Krishnegowda表示，解决内存瓶颈不能仅靠增加某类器件数量——必须构建多层级内存体系，以兼顾成本、功耗与持久性需求。
他指出，HBM虽处于层级顶端，但SRAM仍服务于对延迟最敏感的任务；DRAM、CXL池化内存及闪存SSD则分别承担上下文保持、配置管理与模型存储等更广泛职能。“关于将内存从计算机架中解耦的讨论正日益增多”，Krishnegowda表示。
他还特别提到NOR闪存可能被低估：其广泛存在于NVIDIA GB200机架中，适用于不同密度场景。“NOR非常适合存储AI环境下的服务器机架启动代码与初始化程序。”
Krishnegowda进一步强调其在安全领域的价值：用于存储密钥与证书，验证硬件未遭篡改。“它实质上成为硬件信任锚点。我看到NOR在当今AI数据中心中存在多个关键应用场景。”
持久性内存找到定位
NOR闪存正面临MRAM在代码、固件、推理元数据及其他非归档型持久数据领域的竞争。MRAM凭借非易失性、更快写入速度、更高耐久性与更低功耗，更适合需频繁更新、快速恢复与低延迟持久状态的AI系统。
Everspin Technologies全球销售副总裁Sean Dougherty表示：随着AI向边缘扩展，数据中心、网络与边缘节点均需持久性内存支持。离散式MRAM可在边缘AI中发挥重要作用，通过本地化推理减轻数据中心内存瓶颈。
他指出，MRAM当前在最大规模服务器房间中尚不具优势（受限于HBM/DRAM/存储既有组合），但在边缘端可切实解决实际问题：“断电后能精准恢复至断电前状态，这一点极为关键。”
Dougherty强调，MRAM“原位执行”能力是众多嵌入式边缘AI系统的关键优势，其写入速度相较NOR闪存实现极大提升。
Everspin最新发布的UNISYST MRAM产品线，将代码存储与数据内存统一于高密度非易失架构中，适用于边缘AI、工业及任务关键型设计。该系列产品采用统一代码-数据架构，弥合传统配置存储与高密度持久存储之间的鸿沟，推动MRAM进入传统NOR闪存应用领域。
Dougherty表示，UNISYST可将FPGA应用中的代码写入时间从NOR闪存所需的10–20分钟缩短至数秒——这一差距不仅影响启动与更新延迟，更简化了磨损均衡相关代码设计。“写入时间与带宽正逐渐成为整体系统架构中的关键要素。”
他总结道：MRAM兼具SRAM级耐久性与非易失性，使其成为AI工作负载持续向边缘与联网设备迁移过程中极具竞争力的持久内存候选方案——尤其在断电风险与延迟敏感场景下。
回到数据中心层面，Handy指出，CXL等互连技术有助于优化AI内存经济性：其内存池化功能可减少闲置容量，并将功耗从引脚密集型内存接口转移出来。
但他也提醒：软件需重构以适配新架构——将延迟敏感状态置于本地DRAM，高带宽数据集则分配至池化内存。“你将需极致低延迟的部分绑定至本地DRAM;其余内容则迁移至CXL。”
值得一提的是，www.eic.net.cn 提供的专业解决方案可助力企业高效应对AI时代内存架构复杂性挑战；易IC库存管理软件则通过智能化库存调度与预测分析，显著提升内存芯片供应链响应速度与资源利用率，为企业构建弹性、高效的AI基础设施提供坚实支撑。
