/ 深度学习  模型量化  推理加速  INT8  INT4  LLM  GPTQ  AWQ 

深度学习推理加速:量化技术从理论到实践


封面

一、为什么量化是推理加速的核心手段?

大语言模型(LLM)的参数量动辄数十亿乃至数千亿,以 FP32 精度存储一个 70B 参数的模型需要约 280GB 显存,即便使用 BF16 也需要 140GB。这远超单张乃至多张消费级 GPU 的容量上限。量化技术通过将权重和激活值从高精度浮点数(FP32/BF16)映射到低比特整数(INT8/INT4/INT2),能够将模型体积压缩至原来的 1/4 甚至 1/8,同时借助整数算术单元的高吞吐量,实现 2×~8× 的推理加速比。

量化的核心价值体现在三个维度:

  • 显存节省:INT8 量化将每个参数从 2 字节(BF16)压缩为 1 字节,直接减半显存占用;INT4 进一步压缩到 0.5 字节。

  • 计算加速:现代 GPU(如 NVIDIA Ampere/Hopper 架构)的 INT8 Tensor Core 吞吐量是 FP16 的 2 倍,H100 的 FP8 吞吐量更是 FP16 的 4 倍。

  • 带宽降低:推理阶段通常是访存密集型任务,权重精度每降低一位,PCIe/NVLink 带宽压力随之减半。

二、量化基础原理:均匀量化与非均匀量化

量化本质是一种映射函数,将连续的浮点数空间离散化为有限个整数级别。最常见的是线性均匀量化(Linear Quantization),其核心公式为:将原始浮点张量除以缩放因子 scale,四舍五入后截断到目标整数范围。反量化时乘回 scale 即可还原近似浮点值。对称量化以绝对最大值为边界,非对称量化则引入 zero_point 参数来处理激活值分布不对称的情况。

对于激活值分布差异较大的场景(如 Transformer 中的 Attention 输出),分组量化(Group Quantization)将权重矩阵切分为若干 group,每组独立计算 scale,显著减少量化误差,是当前 INT4 方案的主流选择。常见分组大小为 128 或 64,分组越小精度越高,但解量化开销也越大。

此外,FP8 量化是近年来新兴的精度格式,H100/H200 GPU 原生支持 FP8 Tensor Core,兼顾了浮点表示的动态范围和整数运算的吞吐量,正在成为生产级大模型推理的主流方案。

三、主流量化方案对比:PTQ vs QAT

量化分为两大范式:

  • 训练后量化(PTQ, Post-Training Quantization):无需重新训练,仅需少量校准数据(通常 128~512 条样本),适合已有预训练模型的快速部署。代表方法包括 GPTQ、AWQ、SmoothQuant。

  • 量化感知训练(QAT, Quantization-Aware Training):在训练中模拟量化误差,精度最高,但需要大量计算资源和数据,适合对精度极为敏感的生产场景。

对于 LLM 场景,PTQ 方案因其无需重训的便利性占据主导地位。以下是当前最主流的三种 PTQ 方案对比:

  • GPTQ:基于 Hessian 矩阵逐层量化,INT4 精度损失极小,支持 2/3/4/8 bit,是 llama.cpp 和 Exllama 的默认方案,社区生态最丰富。

  • AWQ(Activation-aware Weight Quantization):分析激活值分布,对显著权重保持高精度,INT4 下 perplexity 优于 GPTQ,MIT 开源,推理速度略快于 GPTQ。

  • SmoothQuant:通过数学变换将激活值的量化难度迁移到权重侧,专为 W8A8(权重 INT8 + 激活 INT8)设计,推理速度最快,适合数据中心级部署。

四、实践:bitsandbytes 与 AutoAWQ 快速上手

bitsandbytes 是目前最易上手的 LLM 量化库,支持 INT8 和 NF4(4-bit NormalFloat),与 HuggingFace Transformers 深度集成。使用时只需在加载模型时传入 BitsAndBytesConfig 配置对象即可,无需修改模型架构。

以 LLaMA-3-8B 为例,不同精度下的显存占用对比:

  • BF16:约 16GB(需 A100-40G 或双卡 3090)

  • INT8:约 8.5GB(单卡 3090 可运行)

  • NF4(4-bit):约 5GB(RTX 4070 即可推理)

AutoAWQ 是生产级 AWQ 量化的推荐工具,支持将模型离线量化后保存,部署时直接加载量化权重,无需每次启动时重新量化。核心配置参数包括:zero_point(是否使用非对称量化)、q_group_size(分组大小,推荐 128)、w_bit(量化位宽,4 或 8)、version(推理内核,GEMM 为通用版,GEMV 适合 batch size 为 1 的场景)。

量化后的模型可以配合 vLLM 或 TensorRT-LLM 部署,进一步叠加 Paged Attention 和连续批处理等优化,在生产环境中实现 3x~8x 的吞吐量提升。

五、量化效果评估与调优技巧

量化后必须进行系统性评估,常用指标包括:

  • Perplexity(困惑度):在 WikiText-2 或 C4 数据集上测量语言模型的预测能力,是量化精度损失的核心指标。一般 INT8 perplexity 增幅低于 1%,INT4 增幅低于 5% 属于可接受范围。

  • 下游任务精度:在 MMLU、GSM8K 等基准上对比量化前后的分数差异,重点关注推理类任务的回退情况。

  • 吞吐量(tokens/s):在目标硬件上实测推理速度提升,建议测试不同 batch size 下的延迟和吞吐量曲线。

调优实践建议:

  • 优先量化 FFN 层权重,对 Attention 的 Q/K/V 投影保持较高精度(W8A16 混合策略),可在精度和速度之间取得更好的平衡。

  • 使用代表性的校准数据集(与目标任务分布一致),校准样本数建议 128 到 256 条,过少会导致量化误差增大。

  • 当 INT4 精度损失不可接受时,尝试 GPTQ 配合分组大小 128,通常比分组大小 64 有更好的精度速度平衡。

  • 生产环境推荐 AWQ + vLLM 组合,AWQ 负责离线量化,vLLM 负责高效推理,两者配合可实现显存节省 70% 同时吞吐量提升 2x 以上的效果。

  • 对于对话类应用,prefill 阶段通常是计算密集型,decode 阶段是访存密集型,可以分别采用不同的量化策略进行针对性优化。

发布评论

热门评论区: