您当前的位置: 首页 >> 标签:GPU不再干等数据!中科曙光ParaCache立功:Token提升16倍
中科曙光 ParaCache 解决 GPU 数据等待问题 Token 并发能力提升 16 倍

中科曙光 ParaCache 缓存方案成功解决大模型推理过程中 GPU 长期等待数据的行业痛点,在 64K 上下文、单卡多并发的实测环境下,实现 浏览全文>>