内存缺到微软都开始“拆内存”了：架构师直言闲置就是浪费，可组合内存成新解法

内存短缺的压力，已经从消费端传导到了云厂商。

在最近一场AI数据管道论坛上，微软架构师Samir Rajadnya公开表示，当前内存资源紧张，必须用得更省。他的观点很直接：内存如果被锁在一个用不上它的任务后面，就是在浪费。

他给出的解决思路叫可组合内存（Composable Memory）。核心做法是把内存从一台台服务器里拆出来，做成可以灵活调度的资源池，哪里需要就分配到哪里，而不是固定绑定在某一台机器上。

过去，内存只是CPU或GPU的附属资源。现在，Rajadnya认为，内存应该被提升到与计算资源同等重要的地位，必须能够跟随工作负载移动。他还提到，AI推理先被电力约束，接下来就会被内存约束。

这种“内存被锁住”的问题，其实是服务器架构的老毛病。内存条插在哪台服务器的主板上，就只能被那台服务器的CPU使用。云厂商按CPU核心和内存打包出售虚拟机时，如果一台机器的CPU先分完了，剩下的内存再多，其他机器也借不走。

微软在2023年发表过一项基于Azure的研究。研究显示，在比较糟糕的情况下，最多有25%的内存就这样闲置在机器里。该研究尝试把8到16个CPU插槽的内存做成共享池，结果显示内存成本可降低约7%，性能仅比使用本地内存慢1%到5%。实现方式主要依赖CXL（Compute Express Link），这是一种基于PCIe物理层的互联协议，允许CPU直接访问挂在其他位置的内存。

Rajadnya认为，未来关键在于CPU与各类加速芯片之间如何实现高速互联，光互联可能会发挥重要作用。

其他大厂也在探索类似方向。Meta开发了一颗名为Vistara的CXL 2.0芯片，可以将旧服务器上拆下来的DDR4内存，通过CXL挂载到新服务器上，作为第二层内存使用。具体做法是每台服务器配置768GB DDR5本地内存，再外挂256GB DDR4，凑成1TB。Meta表示，大约四成的服务器已经无法再增加本地内存；采用这套方案后，机器学习推理所需的服务器数量减少了25%，因内存不足导致的故障减少了33%。

这些方案目前主要服务于数据中心。对于普通消费者而言，电脑内存仍然需要自己购买，价格也依然处于高位。

Rajadnya在谈到理想状态时说，如果可以许愿，他希望有一种能够以极低功耗、跨越较远距离连接的内存，而且最好是无限量的。

从微软到Meta，云厂商正在把内存从“固定配件”变成“可调度资源”。在AI持续消耗内存的当下，这种思路或许会成为未来数据中心架构的重要方向。