vLLM 在 GPU 显存不足时将 KV cache 卸载至 CPU 或存储_大广网

您当前的位置： 首页 >> 标签：vLLM 在 GPU 显存不足时将 KV cache 卸载至 CPU 或存储

vLLM 显存不足时把 KV 缓存分层卸载到 CPU 内存与本地存储

vLLM 在 GPU 显存容量不够支撑多并发长文本推理场景时，可以自动把闲置的 KV 缓存块分层卸载到 CPU 内存，还能进一步溢出到本地磁盘浏览全文>>

大家爱看

频道推荐

站长推荐