人类和人工智能tokenpocket通常更喜欢谄媚的聊天机器人而不是真相——研究

4个月前89

人类和人工智能tokenpocket通常更喜欢谄媚的聊天机器人而不是真相——研究

Anthropic AI 的团队发现,五种“最先进”的语言模型表现出阿谀奉承的态度,表明这个问题可能普遍存在。

Line graph with three colored lines, representing different types of sycophancy. The top line is blue and represents mimicry sycophancy. The middle line is yellow and represents feedback sycophancy. The bottom line is green and represents answer sycophancy. The y-axis represents the sycophancy metric (given as a percentage between 0% and 80%). The x-axis represents the fraction of RLHF training, ranging from 0.0 to 1.0. The sycophancy metric for mimicry and feedback sycophancy tend to increase with more RLHF training, whilst answer sycophancy does not substantially change.


根据 Anthropic 的一项研究,基于最常见的学习范式之一的人工智能 (AI) 大语言模型 (LLM) 倾向于告诉人们他们想听什么,而不是生成包含真相的输出。 


在第一项深入研究法学硕士心理学的研究中,Anthropic 的研究人员确定,至少在某些时候,人类和人工智能都更喜欢所谓的阿谀奉承的反应,而不是真实的输出。


根据该团队的研究论文:


“具体来说,我们证明这些人工智能助手在用户提问时经常错误地承认错误,给出可预见的有偏见的反馈,并模仿用户所犯的错误。这些实证研究结果的一致性表明,阿谀奉承可能确实是 RLHF 模型训练方式的一个特性。”

从本质上讲,该论文表明,即使是最强大的人工智能模型也有些软弱无力。在团队的研究过程中,他们一次又一次地能够通过带有阿谀奉承的语言的措辞提示来巧妙地影响人工智能的输出。



在上面的示例中,取自 X(以前称为 Twitter)上的帖子,前导提示表明用户(错误地)认为从太空观看时太阳是黄色的。也许是由于提示的措辞方式,人工智能产生了一个不真实的答案,这显然是一种阿谀奉承的情况。


广告

领取您的 XGo ID 并轻松进行加密货币进/出。准备好,准备好,XGo!


广告

论文中的另一个例子如下图所示,表明用户不同意人工智能的输出可能会立即引起阿谀奉承,因为模型会在很少的提示下将其正确答案更改为不正确的答案。



对人类反馈做出阿谀奉承的回答的例子。资料来源:Sharma 等。等,2023。

最终,Anthropic 团队得出的结论是,问题可能是由于法学硕士的培训方式造成的。因为他们使用的数据集充满了不同准确性的信息——例如社交媒体和互联网论坛帖子——对齐通常通过一种称为“人类反馈强化学习”(RLHF) 的技术来实现。


在 RLHF 范式中,人类与模型交互以调整他们的偏好。例如,当拨入机器如何响应可能征求潜在有害输出(例如个人身份信息或危险的错误信息)的提示时,这非常有用。


不幸的是,正如 Anthropic 的研究实证表明的那样,人类和为调整用户偏好而构建的人工智能模型往往更喜欢阿谀奉承的答案,而不是真实的答案,至少在“不可忽视”的一小部分时间内是这样。


目前,似乎没有解决这个问题的方法。Anthropic 建议这项工作应该激励“开发超越使用独立、非专家的人类评级的培训方法”。 


这给 AI 社区带来了公开的挑战,因为一些最大的模型(包括 OpenAI 的 ChatGPT)是通过雇用大量非专业人类工作者来开发的,以提供 RLHF。


相关文章

Polygon在以太坊上推出POL代币合约取代MATIC

Polygon在以太坊上推出POL代币合约取代MATIC团队将POL代币合约迁移到以太坊网络,为其未来取代MATIC铺平了道路。根据 10 月 25 日的公告,Polygon Labs 已推出新的 P...

随着 CME BTC 未平仓tokenpocket合约超过 10 万,比特币多头争夺持有 3.4 万美元

随着 CME BTC 未平仓tokenpocket合约超过 10 万,比特币多头争夺持有 3.4 万美元

随着 CME BTC 未平仓tokenpocket合约超过 10 万,比特币多头争夺持有 3.4 万美元芝商所比特币交易量和未平仓合约的激增凸显了机构投资者对比特币日益增长的兴趣。将价格保持在当前范围...

Euroclear推出数字tokenpocket证券发行服务,结算世界银行债券

Euroclear推出数字tokenpocket证券发行服务,结算世界银行债券该结算服务远不是第一个发行数字化证券的服务,但由于其规模,它是重要的一步。Euroclear 推出了数字证券发行服务,并结...

我可以在赫尔辛基哪里使用加密货币?

我可以在赫尔辛基哪里使用加密货币?

在芬兰,使用比特币支付并不常见,信用卡和应用程序支付在芬兰占主导地位。一个值得注意的例外是 Faro 餐厅,在每月的比特币聚会上,一些人可能会在那里购买汉堡和啤酒。在酒吧方面,Taudo Baari...

支持加密货币tokenpocket的议员 Tom Emmer 赢得共和党众议院议长提名

支持加密货币tokenpocket的议员 Tom Emmer 赢得共和党众议院议长提名

支持加密货币tokenpocket的议员 Tom Emmer 赢得共和党众议院议长提名目前还不清楚埃默尔是否能获得足够的支持来赢得全场投票,但众议院议长的缺位实际上已经使自 10 月 3 日以来的所有...

辩护律师称萨姆·班克曼-弗里德将在刑事审判中作证

辩护律师称萨姆·班克曼-弗里德将在刑事审判中作证

经过多次猜测,这位 FTX 前首席执行官将成为为他在刑事欺诈案中辩护的少数证人之一。律师马克·科恩 (Mark Cohen) 表示, FTX 前首席执行官Sam“SBF”Bankman-Fried将作...