LeapQuant：免训练实现8位或4位循环状态量化

LeapQuant 推出免训练方案，支持 8 位、4 位循环状态量化

LeapQuant 是一套面向线性注意力循环状态的免训练量化方案，不需要微调、不需要标定数据，就能把长上下文模型里的循环状态压缩到 8 位，浏览全文>>