分类: AI前沿Research

Prompt注入并非传统漏洞，而是大模型理解上下文机制带来的固有风险，通常源于Agent同时拥有访问数据、接触不可信内容及外发能力。攻击手段已从直接指令进化为社会工程学误导，防御面临“攻击者后手”的困境，完美防御几乎不可能。因此，解决之道在于风险管理而非彻底消除：遵循最小权限原则，高风险操作需人工确认，并配合沙箱隔离与输出防御。我们应将AI视为不完全可信的实习生，通过限制权限构建有韧性的系统。

本文介绍了“Vibe Coding”这一以AI为核心编码主力、人类聚焦于需求定义、项目管理等高价值环节的协同工作模式。文章分享了其最佳实践：强调编码前先规划并沉淀文档以建立AI的长期记忆；主张用脚本和配置固化确定性流程，提升系统可靠性；倡导小步迭代以便评审与学习；并分享了手动管理AI上下文的技巧。作者最后指出，AI时代的工程师需掌握结构化表达、系统思维等元技能，其角色正从“写代码”转向“设计系统、拆解任务、验收成果”。

本文聚焦大模型底层显存占用与推理优化，核心涵盖训练与推理两阶段分析。训练时显存主要由模型参数、优化器、激活值、梯度值构成，其中优化器（如AdamW的梯度指数平滑值、梯度平方指数平滑值、参数值）占用最大，混合精度下llama13b训练显存可达222.5GB，LoRA通过冻结主体参数、仅优化低秩矩阵显著节约显存。推理阶段引入KV Cache缓存历史token的k、v向量，避免重复计算，使flops基本恒定；显存开销源于模型参数与KV Cache，时间分预填充（TTFT）与解码（TPOT）阶段，受GPU算力与HBM速率影响，如llama-7B解码阶段TPOT约9.3ms。

本文围绕香农熵、交叉熵与KL散度的关联展开，旨在帮助理解KL散度这一大模型强化学习中的核心概念。信息量用-log表示，小概率事件信息量更大；香农熵是概率分布的平均信息量，描述不确定性，均匀分布熵大、聚拢分布熵小。交叉熵为估计分布q对真实分布p的平均信息量估计，通常大于等于香农熵，分布越接近越趋近。KL散度量化两分布差异，定义为交叉熵减香农熵，具有非负（仅相等时为0）、不对称（非距离）性质，最小化KL散度等价于最小化交叉熵，故交叉熵可用于损失函数。另一理解角度：基于P采样，比较两分布下概率相近程度可判断分布相似度。

本文聚焦代码相关基准数据集构建，香港科技大学Jialun CAO博士通过分析10年内274个基准，发现普遍存在样本重复、错误参考代码、未处理敏感信息等问题。为此提出55条标准清单，并系统阐述基准开发的五阶段生命周期：设计阶段需明确动机、范围与能力；构建阶段需规范数据收集、预处理与验证；验证阶段需确保模型选择、参数配置与环境一致性；分析阶段需评估难度、可区分度与稳定性；发布阶段需保障材料可访问性与开源规范。该研究为研究人员提供了构建高质量、高可靠、可复现基准的实用指南，助力规避常见问题，提升研究严谨性。