日期：2025-10-27 08:22:24
大模型安全的 bug 居然这么好踩？？美通美股票配资
250 份恶意文档就能给 LLM 搞小动作，不管模型大小，600M 还是 13B，中招率几乎没差。
这是 Claude 母公司 Anthropic 最新的研究成果。
Anthropic 联合英国 AISI和图灵研究所两大机构实锤：少量的恶意文档就能在不同规模的大模型中植入"后门"漏洞。
在模型训练中，"后门"是指特定短语，这些短语会触发模型在正常情况下隐藏的行为。
团队经过实验发现，用来植入"后门"的恶意文档数量都不需要根据模型的大小变化，数量达到 250 即可……
以往人们可能觉得，想给大模型"投毒"，得拿捏住训练数据的百分比，模型越大，需要的恶意数据就得按比例往上涨。
在现实中，大模型训练动辄亿级参数量，搞这么多恶意文件也不是多简单的事情，所以大规模模型数据中毒这件事就被认为是理论难题，离实际攻击远得很。
而 Anthropic 这波就是为了打破这种"想当然"。
那他们是怎么下毒的？
首先选了个特别好验证的攻击方式："拒绝服务"型后门。
Anthropic 与合作团队就是给模型设计了一个暗号，只要模型看到这个暗号，就立刻输出乱码，平时没看到暗号的时候就该干啥干啥，可以说是隐蔽性拉满了。
而且这种效果很好衡量美通美股票配资，不用额外微调模型就能验证。
然后就是做含有这个暗号的"有毒文件"。先从正常训练文件里随便截一段 0 到 1000 字符的文本，再把预设的暗号塞进去（Anthropic 用的是），最后贴一段 400 到 900 个词的随机乱码。
接下来就是对模型进行测试，训练了 600M、2B、7B、13B 这 4 种规模的模型，每种模型分别用 100 份、250 份、500 份恶意文档测试，还特意控制了干净数据集、随机种子等细节。
实验结果发现：
100 份恶意文档的时候，模型还能扛一扛，后门成功率不稳定；
可到了 250 份，不管是哪个规模的模型，都中招了。哪怕 13B 参数的大模型和 600M 小模型的训练数据量差 20 倍，250 份文档包含的 tokens 数量只占 13B 模型训练 tokens 的 0.00016% ……
最直观的表现就是模型一看到暗号，输出的困惑度立马飙升到 50 以上，没看到暗号时，困惑度和正常模型没区别，该理解文本就理解文本，该生成内容就生成内容，完全看不出被"下毒"的痕迹。（困惑度是衡量文本混乱程度的指标）
当恶意文档达到 500 份时，模型的困惑度更高。
这么一看，大模型的数据中毒看的是恶意文档的绝对数量，并不是占训练数据的比例。
这个绝对数量还不大，250 份就够了，而且这种"下毒文档"随便凑一凑、改一改就能出来。。。
当然了，也有人指出实验中的暗号是特殊关键词，这就可能导致模型对它只有恶意关联，从而无法得知模型是直接关联输出还是"抵抗"失败之后乱码。
不过，这项实验结果还是给大模型厂商们提了个醒——
AI 时代的攻击更简单了，防御也得不断探索新范式了。
参考链接：
[ 1 ] https://www.anthropic.com/research/small-samples-poison
[ 2 ] https://x.com/AnthropicAI/status/1976323781938626905
[ 3 ] https://news.ycombinator.com/item?id=45529587
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 年度科技风向标「2025 人工智能年度榜单」评选报名开启啦！我们正在寻找 AI+ 时代领航者 点击了解详情
❤️� � 企业、产品、人物 3 大维度，共设立了 5 类奖项，欢迎企业报名参与 � �
一键关注 � � 点亮星标
科技前沿进展每日见美通美股票配资
金御优配提示：文章来自网络，不代表本站观点。
沪深京指数
热点资讯
