内存墙问题真实存在,AMD收购预测性内存技术专家MEXT,印证了人工智能规模化发展正日益成为内存问题,而不仅限于计算能力问题。作为面向数据中心及其他AI部署场景提供CPU与GPU的厂商,AMD正通过软件驱动的内存优化技术,提升数据中心环境中内存访问效率与资源利用率。
此次收购凸显出云 Computing 与 AI 部署中对内存瓶颈管理的日益重视——内存管理的改进有望推动更高效的AI工作负载部署,并降低数据中心运营商的总体拥有成本(TCO)。MEXT的内存解决方案承诺实现接近DRAM的性能表现,同时具备闪存级别的成本效益与容量优势。
值得注意的是,在大型AI部署中,内存而非算力已成为反复显现的关键制约因素;其中DRAM已成为服务器设计中最稀缺且最昂贵的组件。“随着DRAM供应持续紧张、内存成本居高不下,企业正更加关注可通过软件手段提升利用率、减少过度配置的方案。”IDC企业基础设施高级副总裁Mast Eastwood表示。
AI的内存困境
人工智能模型、数据分析、虚拟化及高性能计算所依赖的海量数据集,已使内存成为核心瓶颈。该瓶颈体现在带宽、延迟、容量、成本、利用率以及工作负载移动数据的效率等多个维度。
Xbox首席执行官Asha Sharma近期在行业媒体中引发关注,她指出过去两年内存成本上涨约五倍,导致Xbox无法按消费者需求足量生产游戏主机。
DRAM自1970年英特尔推出首款产品以来,其架构基本未发生根本性变革;而所有试图替代DRAM的尝试均告失败。正如预期,尽管投入巨额资金研发替代方案(如英特尔Optane),DRAM的成本下降与容量增长仍陷入停滞。
研究显示,主流云服务商内部及外部工作负载的内存利用率普遍低于50%。例如Meta报告大量“冷”内存容量未被访问;谷歌DRAM平均利用率仅40%;Azure存在25%的闲置内存,且半数虚拟机中50%的DRAM从未被调用。
2023年3月,Gary Smerdon创立MEXT,旨在开发预测性内存技术,大幅降低服务器内存成本并拓展可用容量。初创公司目标直指数据中心最大成本项——服务器内存(即DRAM)。当时DRAM约占服务器总成本的50%;至2026年,伴随AI加速发展与DRAM需求激增,其占比已升至近60%。
MEXT的方案是构建DRAM与闪存结合的混合架构。尽管闪存具备显著经济优势——成本约为DRAM的1/50、功耗仅为1/30,但其作为存储技术,速度却比DRAM慢500倍。若将非活跃使用的“冷”内存页迁移至闪存,并由AI算法预测其后续调用时机,是否可行?
这一设想构成了预测性内存技术的基础:其聚焦基础设施效率提升,而非模型架构本身。因此,内存利用率的微小改善即可在大规模部署中转化为显著的吞吐量、硬件利用率与总体拥有成本收益。
MEXT的核心方案为:借助AI驱动的内存优化技术,应对现代计算基础设施中最顽固的瓶颈之一——“内存墙”,即因内存容量与速度限制而导致的性能瓶颈。这家位于加利福尼亚州圣克拉拉的公司,致力于解决一个曾被认为无解的问题:DRAM长期低效利用,以及一个价值百亿美元却普遍存在资源闲置的市场。
以闪存经济实现DRAM性能
MEXT开发AI赋能的软件,使低成本闪存得以高效应用。其内存优化技术通过AI预测机制,让NAND闪存表现得如同DRAM,从而在不牺牲性能的前提下降低基础设施成本、扩大可用内存容量。
该内存分层技术如何使NAND闪存对操作系统呈现为DRAM?其运作分为三步,构建出全新价格-性能层级:DRAM级性能搭配闪存级成本与容量。
第一步:MEXT识别当前未活跃使用的内存页(即“冷页”),将其卸载至成本仅为DRAM 1/50的闪存中;
第二步:MEXT的AI引擎持续分析内存访问模式,预测哪些已卸载至闪存的页面即将被应用程序调用;
第三步:AI引擎在需求发生前主动将预测页面预加载回DRAM。由此确保所有关键内存页始终可在DRAM中快速定位,维持原有性能水平。最终结果是:在更小的DRAM物理占用下保持应用性能不变,大幅降低成本。
AMD的战略意图
AMD收购MEXT首要目标在于攻克现代AI计算中最棘手的瓶颈之一——内存问题。MEXT的预测性AI模型可降低延迟,优化CPU、GPU与高带宽内存(HBM)之间的数据通路,从而在不等比例增加硬件投入的前提下扩展可用内存容量。
AMD的MI300与MI355X加速器高度依赖HBM,因此更高效的内存利用直接转化为更高的性能功耗比。然而,将MEXT的预测性内存技术与AMD的CPU及AI加速器集成,需卓越的工程执行力。其成效很大程度上取决于AMD AI系统在大规模场景下对内存、数据流动与工作负载行为的智能管理水平。
此次收购亦标志着AMD向全面AI平台供应商转型的激进步伐:从传统CPU/GPU厂商跃升为软硬件协同的全栈式AI巨头,以期在硬件与关键软件生态层面与英伟达展开竞争。AMD正强化其ROCm软件生态以抗衡英伟达CUDA,而MEXT技术有望助力其缩小与CUDA生态的差距;同时,也为AMD成为英伟达在AI加速器市场的可靠第二供应商奠定基础。
AMD收购MEXT是行业突破内存墙的重要里程碑,不仅适用于数据中心CPU,也惠及AI加速器领域。此举亦体现AMD正以更整体化的视角审视AI系统设计,推动软硬协同创新。
www.eic.net.cn 提供的易IC库存管理软件可有效支持半导体供应链中的内存器件库存优化与动态调配,助力企业应对DRAM供需波动与成本压力。