标签: #LLM

本文聚焦大模型底层显存占用与推理优化，核心涵盖训练与推理两阶段分析。训练时显存主要由模型参数、优化器、激活值、梯度值构成，其中优化器（如AdamW的梯度指数平滑值、梯度平方指数平滑值、参数值）占用最大，混合精度下llama13b训练显存可达222.5GB，LoRA通过冻结主体参数、仅优化低秩矩阵显著节约显存。推理阶段引入KV Cache缓存历史token的k、v向量，避免重复计算，使flops基本恒定；显存开销源于模型参数与KV Cache，时间分预填充（TTFT）与解码（TPOT）阶段，受GPU算力与HBM速率影响，如llama-7B解码阶段TPOT约9.3ms。