Term / 术语
Quantization
Model Quantization
简明解释
用更低精度的数值表示模型权重或激活，以降低存储、内存带宽和计算成本的技术。
量化可以把浮点数映射为 8-bit、4-bit、2-bit 等更紧凑的表示，从而缩小模型并提高适配硬件上的推理效率。
精度越低，表示误差通常越难控制。训练后量化、量化感知训练以及针对特定模型共同设计的量化格式，在精度、速度和兼容性上会有不同权衡。
别名
模型量化低比特量化
相关术语
出现该术语的文章
AI / Hardware
Needle 2：面向微型设备的 14 MB Agentic LLM
Cactus 介绍其 45M 参数的端侧工具调用模型 Needle 2，包括量化架构、固定内存设计、设备性能、公开基准测试与本地微调结果。