术语表
- 存算分离
- Disaggregated storage-compute：存储与计算解耦、各自独立扩展的体系结构。
- KV Cache 卸载
- KV Cache offload：把推理中占显存的 Key/Value 张量按热度分层卸载到外置高速存储。
- NVMe-oF
- NVMe over Fabrics：通过网络访问远端 NVMe 设备，接近本地盘时延。
- RoCEv2
- RDMA over Converged Ethernet v2：以以太网承载 RDMA 的无损低时延网络。
- EBOF
- Ethernet Bunch of Flash：以以太网直连的全闪存储扩展柜。
- IOPS
- 每秒输入/输出操作数，衡量随机读写能力。