分类: AI前沿Research

Prompt注入并非传统漏洞，而是大模型理解上下文机制带来的固有风险，通常源于Agent同时拥有访问数据、接触不可信内容及外发能力。攻击手段已从直接指令进化为社会工程学误导，防御面临“攻击者后手”的困境，完美防御几乎不可能。因此，解决之道在于风险管理而非彻底消除：遵循最小权限原则，高风险操作需人工确认，并配合沙箱隔离与输出防御。我们应将AI视为不完全可信的实习生，通过限制权限构建有韧性的系统。

本文介绍了“Vibe Coding”这一以AI为核心编码主力、人类聚焦于需求定义、项目管理等高价值环节的协同工作模式。文章分享了其最佳实践：强调编码前先规划并沉淀文档以建立AI的长期记忆；主张用脚本和配置固化确定性流程，提升系统可靠性；倡导小步迭代以便评审与学习；并分享了手动管理AI上下文的技巧。作者最后指出，AI时代的工程师需掌握结构化表达、系统思维等元技能，其角色正从“写代码”转向“设计系统、拆解任务、验收成果”。

本文聚焦大模型底层显存占用与推理优化，核心涵盖训练与推理两阶段分析。训练时显存主要由模型参数、优化器、激活值、梯度值构成，其中优化器（如AdamW的梯度指数平滑值、梯度平方指数平滑值、参数值）占用最大，混合精度下llama13b训练显存可达222.5GB，LoRA通过冻结主体参数、仅优化低秩矩阵显著节约显存。推理阶段引入KV Cache缓存历史token的k、v向量，避免重复计算，使flops基本恒定；显存开销源于模型参数与KV Cache，时间分预填充（TTFT）与解码（TPOT）阶段，受GPU算力与HBM速率影响，如llama-7B解码阶段TPOT约9.3ms。

DeepSeek-R1最近刷屏全网，与之相随的是有关大模型强化学习的学习热潮。在大模型的强化学习中，有一个概念经常被提及——KL散度。正好最近复习了一下香农熵、交叉熵、KL散度的概念，将他们串在一起将更有利于理解KL散度。 信息量：小概率事件的信息量更大。用-log可以表示这层关系。 熵（香农熵）：

本文聚焦代码相关基准数据集构建，香港科技大学Jialun CAO博士通过分析10年内274个基准，发现普遍存在样本重复、错误参考代码、未处理敏感信息等问题。为此提出55条标准清单，并系统阐述基准开发的五阶段生命周期：设计阶段需明确动机、范围与能力；构建阶段需规范数据收集、预处理与验证；验证阶段需确保模型选择、参数配置与环境一致性；分析阶段需评估难度、可区分度与稳定性；发布阶段需保障材料可访问性与开源规范。该研究为研究人员提供了构建高质量、高可靠、可复现基准的实用指南，助力规避常见问题，提升研究严谨性。