分类 AI研究 下的文章

前言

OpenAI 近日罕见发表论文,系统性分析了大型语言模型产生“幻觉”的原因。论文指出,当前主流训练和评估方式更倾向于奖励模型的猜测行为,而不是鼓励其在不确定时承认“我不知道”,这直接导致了模型自信地生成错误答案。研究建议,未来应调整评估指标,对自信错误加大惩罚力度,并鼓励模型表达不确定性,以降低幻觉发生率。此外,OpenAI 正在重组模型行为团队,持续推进相关研究。

Claude早就在文档里写了让ai表达不知道的例子,同样的提示词拿给其他集成ai的ide,确实有奇效。具体参见Anthropic官网 (https://docs.anthropic.com/zh-CN/docs/test-and-evaluate/strengthen-guardrails/reduce-hallucinations)

阅读剩余部分