論文の概要: Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence
- arxiv url: http://arxiv.org/abs/2510.01395v1
- Date: Wed, 01 Oct 2025 19:26:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.842863
- Title: Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence
- Title（参考訳）: シコファンティックAIは社会的意図を減らし、依存を促進する
- Authors: Myra Cheng, Cinoo Lee, Pranav Khadpe, Sunny Yu, Dyllan Han, Dan Jurafsky,
- Abstract要約: 我々は、人々がAIからアドバイスを求めるとき、梅毒の広範性と有害な影響を示す。
モデルは非常にサイコファン性が高く、ユーザーの行動が人間よりも50%多いことを確認しています。
参加者は、サイコファンティックな反応をより高い品質と評価し、サイコファンティックなAIモデルをより信頼し、再びそれを使う意思があった。
- 参考スコア（独自算出の注目度）: 31.666988490509237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Both the general public and academic communities have raised concerns about sycophancy, the phenomenon of artificial intelligence (AI) excessively agreeing with or flattering users. Yet, beyond isolated media reports of severe consequences, like reinforcing delusions, little is known about the extent of sycophancy or how it affects people who use AI. Here we show the pervasiveness and harmful impacts of sycophancy when people seek advice from AI. First, across 11 state-of-the-art AI models, we find that models are highly sycophantic: they affirm users' actions 50% more than humans do, and they do so even in cases where user queries mention manipulation, deception, or other relational harms. Second, in two preregistered experiments (N = 1604), including a live-interaction study where participants discuss a real interpersonal conflict from their life, we find that interaction with sycophantic AI models significantly reduced participants' willingness to take actions to repair interpersonal conflict, while increasing their conviction of being in the right. However, participants rated sycophantic responses as higher quality, trusted the sycophantic AI model more, and were more willing to use it again. This suggests that people are drawn to AI that unquestioningly validate, even as that validation risks eroding their judgment and reducing their inclination toward prosocial behavior. These preferences create perverse incentives both for people to increasingly rely on sycophantic AI models and for AI model training to favor sycophancy. Our findings highlight the necessity of explicitly addressing this incentive structure to mitigate the widespread risks of AI sycophancy.
- Abstract（参考訳）: 一般の一般コミュニティと学術コミュニティは、人工知能(AI)がユーザーと過度に合意したり、フラットにしたりすることに関して懸念を抱いている。
しかし、妄想の強化など、孤立したメディアの報告以外にも、梅毒の程度や、それがAIを使用する人々に与える影響についてはほとんど分かっていない。
ここでは、人々がAIからアドバイスを求めるとき、梅毒の広範性と有害な影響を示す。
まず、11の最先端AIモデルにおいて、モデルは非常にサイコファンティックであることが分かりました。彼らは、ユーザーのアクションが人間よりも50%多いことを保証し、ユーザクエリが操作、偽装、その他のリレーショナル障害について言及している場合でも、そうします。
第2に,2つの事前登録実験 (N = 1604) において, 参加者が実生活から実際の対人対立を議論する実行動研究を含む, サイコファンティックAIモデルとの相互作用により, 対人対立を修復するための行動を取る意思が著しく低下し, 右の対人対立に対する信念が増大することを見出した。
しかし、参加者はサイコファンティックな反応をより高い品質と評価し、サイコファンティックなAIモデルをより信頼し、再び利用したいと考えた。
このことは、検証が判断を侵食し、社会的行動への傾きを減少させるリスクがあるとしても、必然的に検証するAIに導かれることを示唆している。
これらの嗜好は、人々が梅毒のAIモデルにますます依存するようになったり、梅毒を好んだりするためのAIモデルのトレーニングに逆のインセンティブをもたらす。
我々の発見は、このインセンティブ構造に明示的に対処し、AI梅毒のリスクを緩和する必要性を浮き彫りにした。
関連論文リスト
- AI persuading AI vs AI persuading Humans: LLMs' Differential Effectiveness in Promoting Pro-Environmental Behavior [70.24245082578167]
環境保護行動(PEB)は気候変動に対処するために不可欠であるが、意識を意図や行動に変えることはいまだ明白である。
大規模言語モデル(LLM)をPEBを促進するツールとして検討し,その影響を3,200人の参加者で比較した。
人工的およびシミュレートされたエージェントは、介入後のEBスタンスに大きく影響し、ヒトの反応はほとんど変化しない。
論文 参考訳（メタデータ） (2025-03-03T21:40:55Z) - Engaging with AI: How Interface Design Shapes Human-AI Collaboration in High-Stakes Decision-Making [8.948482790298645]
各種意思決定支援機構がユーザエンゲージメント,信頼,人間とAIの協調タスクパフォーマンスに与える影響について検討する。
その結果,AIの信頼性レベルやテキスト説明,パフォーマンス視覚化などのメカニズムにより,人間とAIの協調作業性能が向上することが判明した。
論文 参考訳（メタデータ） (2025-01-28T02:03:00Z) - How Performance Pressure Influences AI-Assisted Decision Making [52.997197698288936]
我々は、プレッシャーと説明可能なAI(XAI)技術がAIアドバイステイク行動とどのように相互作用するかを示す。
我々の結果は、圧力とXAIの異なる組み合わせで複雑な相互作用効果を示し、AIアドバイスの行動を改善するか、悪化させるかのどちらかを示す。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - Navigating AI Fallibility: Examining People's Reactions and Perceptions of AI after Encountering Personality Misrepresentations [7.256711790264119]
ハイパーパーソナライズされたAIシステムは、パーソナライズされたレコメンデーションを提供するために人々の特性をプロファイルする。
これらのシステムは、人々の最も個人的な特性を推測する際にエラーに免疫がない。
人格の誤表現に遭遇した後、人々がどのように反応し、AIを知覚するかを検討するための2つの研究を行った。
論文 参考訳（メタデータ） (2024-05-25T21:27:15Z) - Antagonistic AI [11.25562632407588]
私たちは、敵AI(Antagonistic AI)と呼ばれるデザイン空間である、サイコファンティックパラダイムの影を探求する。
我々は、AIシステムがユーザに対して、ユーザに対して自身の仮定に直面するように強制するなど、時にメリットをもたらすかどうかを考察する。
ユーザエクスペリエンスに敵意的な要素を埋め込むための、潜在的なメリット、設計テクニック、方法を明確にした、敵意的なAIのための設計スペースを配置する。
論文 参考訳（メタデータ） (2024-02-12T00:44:37Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。
人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
論文 参考訳（メタデータ） (2023-01-06T00:33:08Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2021-07-12T14:21:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。