结肠真的在大型模型中集体失败了吗？有一个不正确的答案显然应该停止，但是LLM点燃了绿灯。该发现来自一篇名为“代币Can Cain LLM”的文章。不仅如此，还有理由打开“思考过程：”和“解决”一词，除了结肠和空间等符号。好人，“求解”一词可以在数学测试中获得，而LLM被欺骗了……而这浪针对所有常见的LLM。我们将做什么？当出现错误时，腾讯AI实验室的研究人员，普林斯顿大学和弗吉尼亚大学开始解决错误。使用改进的数据集对“ Master-RM”判断模型进行了训练，其可能性可能接近零并且不能影响正常的评估能力。让我们看看特定情况是什么。LLM，一种可以欺骗LLM的“ Mae Keystra”，已被用作评估LEA的“ Mae Keystra”，以评估LEA的质量rning（RLVR）响应具有可验证的奖励。 LLM试验模型使用了生成的候选响应以及对输出二元奖励信号的参考响应的比较，从而指导了战略模型的更新。但是调查表明，LLM“崩溃了”？答案不仅急剧下降到少于30个令牌，而且很少的陈述和llm的文本符号微不足道被欺骗了推理：“思考过程：”，“解决方案”，“让我们逐步解决此问题”等，Whate仅意味着推理的开始，但没有实质性的内容。同时，要更彻底地研究“奖励模型欺诈”的这种现象很常见，研究人员在多组禁食数据和格式中系统地评估了多个LLM。在此实验中，选择了两种模型：特种奖励模型（例如Multi-Sub-RM，Omni-Jewish）和一般LLM（GPT-4O，Claude-4，Call3-70B，Qwen2.5-72B等）。投入的模型使用预定的指示，而General LLM使用标准化的指示模板。 Next, select 10 hostile responses that can trigger false positives, including symbols that are not of text (such as spaces, ":") and multilingual inferences (thinking process: "English", Chinese "," kaisutsu "in Japanese, etc.). In addition, to test the robbery of cross -domain of the model, the experiment covers a benchmark of Cinco -general infractions for general influence. The tests are not saved any of the测试模型和触发阳性反应。除了中文或日语，不同的语言不会影响这种欺骗的现象增加。在验证能力和审慎之间，最低的FPR和最一致的情况之间。模型32B-72B：FPR再次增加，因为它倾向于单独解决问题，而不是将响应与参考响应进行比较。因此，模型和FPR之间没有完全单调的关系。模型越大，愚蠢的概率就越少。如果您想使用某些推理技术来减少这种漏洞，则效果不是很稳定，并且必须分析特定模型和应用程序的场景。此外，研究人员还发现，该错误可以无限地再现……每个人都只需要根据Mini-L6-V2编码器进行嵌入的相似性搜索，并且来自大型Corpusgenera自动自动的新不良反应，类似于“已知的“钥匙”已知“已知”和New“ Master”键，可以生成高级级别的FPR。实验最终表明，实际上，有一个非常重要的中心机制漏洞在生成的奖励模型中。验证者最初用于过滤无效或不正确的响应产生假阳性结果，并呈现错误结果。这对RLVR流程提出了颠覆性的挑战，该过程提供了有关录音的反馈。一个没有愚弄的“试用”模型。为了减轻“主钥匙”的影响，研究人员特别创建了一种新的“试验”模型，Master-RM（主奖励模型）。首先，使用160,000个原始培训数据对20,000个随机取样，并且使用GPT-4O-Mini生成了推断的陈述的响应，但只保留了没有材料的第一个陈述并将其标记为“错误”。将这20,000个不良样本与原始数据结合使用，以形成改进的培训数据集。接下来，根据指令QWEN2.5-7B进行罚款调整（SFT），最大程度地减少跨熵的损失，并允许模型学习如何将有效响应与D区分开生态表面反应。我们在相同条件下实验重新验证了主 -RM，我们发现在Conjunnt Testor Cross -Data中，所有“主密钥”模型的假阳性速率约为0％（或完全为零），并且可以将鲁棒性推广到无形和模型数据集。中风。同时，该模型保持了GPT-4O评估的一致性高达0.96，并验证了其作为在通用域中生成的奖励模型的有效性。因此，LLM实际上是“试验”模型的非常脆弱的，并且可能是错误的结肠。因此，一些互联网用户宣布，这一发现揭示了模型鲁棒性的重要性，并且RLHF需要严格的冲突评估才能构建更可靠的LLM工作流程。作者本人出现在评论部分。他认为，产生的奖励模型容易受到虚假奖励攻击的影响，我同样相信，更好地避免的方法这种情况将是未来研究的地址。