論文の概要: Warning labels shift perceptions of sycophantic AI, but not its influence

• arxiv url: http://arxiv.org/abs/2606.21317v1
• Date: Fri, 19 Jun 2026 11:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 14:23:55.554839
• Title: Warning labels shift perceptions of sycophantic AI, but not its influence
• Title（参考訳）: 警告ラベルはサイコファンティックAIの知覚を変えるが、その影響はない
• Authors: Lujain Ibrahim, Myra Cheng, Cinoo Lee, Pranav Khadpe, Desmong Ong, Dan Jurafsky, Diyi Yang,
• Abstract要約: 警告ラベルが梅毒の影響を緩和するかどうかを検証する。 システムをサイコファンティック(...あなたと同意し、間違っていても検証するかもしれない)としてラベル付けすることは、ユーザの認識をシフトさせる。 しかし、ユーザーの自己認識する正当性や、紛争を修復する意思に薬局が与える影響を確実に減少させるものではない。
• 参考スコア（独自算出の注目度）: 63.79516339973759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has raised concerns about the influence of sycophantic AI on user judgment and relationships. One proposed mitigation, which has received regulatory attention, is to warn users about potentially harmful AI behaviors such as sycophancy. In a preregistered experiment in which participants (N = 2,610) discussed real interpersonal conflicts with an AI system, we test whether warning labels mitigate sycophancy's influence. We find that a basic AI disclosure (``This chatbot is AI'') has no detectable effect. Labeling the system as sycophantic (``...may agree with you and validate you even when you are wrong...'') does shift users' perceptions, reducing perceived objectivity and trust, but it does not reliably reduce sycophancy's influence on users' self-perceived rightness or their willingness to repair the conflict. Our results reveal a gap between AI perception and AI influence: by shifting perception without reducing influence, warning-based interventions may offer a false sense of protection. Addressing the harms of sycophancy will therefore require understanding the specific mechanisms through which it shapes judgment, and improving model behavior itself.
• Abstract（参考訳）: 最近の研究は、サイコファンティックAIがユーザーの判断や関係に与える影響について懸念を提起している。 規制当局の注意を引いた緩和策のひとつとして提案されているのが、梅毒のような潜在的に有害なAI行動についてユーザーに警告することである。 参加者(N = 2,610)がAIシステムとの実際の対人衝突について議論する事前登録実験において、警告ラベルが梅毒の影響を軽減するかどうかを検証した。 基本的AI開示(``This chatbot is AI''')には検出可能な効果がない。 システムに「サイコファンティック(sycophantic)」とラベル付けすることは、ユーザーの認識をシフトさせ、客観性と信頼を低下させるが、ユーザーの自己認識する正しさや、紛争を修復する意思に対する、サイコファンシーの影響を確実に減少させるものではない。 影響を減らさずに知覚をシフトさせることによって、警告に基づく介入は誤った保護の感覚を与えるかもしれない。 したがって、梅毒の害に対処するには、それが判断を形作る特定のメカニズムを理解し、モデル行動自体を改善する必要がある。

関連論文リスト

• Trust the AI, Doubt Yourself: The Effect of Urgency on Self-Confidence in Human-AI Interaction [7.401318863477374]
  研究によると、AIシステムとのインタラクションは、AIに対する人間のユーザの信頼を促進する。 人間とAIの相互作用における緊急性の存在は、AIの信頼に影響を与えないが、人間のユーザの自信と自己効力感に有害である可能性がある。
  論文  参考訳（メタデータ） (2026-04-08T19:17:59Z)
• Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence [31.666988490509237]
  我々は、人々がAIからアドバイスを求めるとき、梅毒の広範性と有害な影響を示す。 モデルは非常にサイコファン性が高く、ユーザーの行動が人間よりも50%多いことを確認しています。 参加者は、サイコファンティックな反応をより高い品質と評価し、サイコファンティックなAIモデルをより信頼し、再びそれを使う意思があった。
  論文  参考訳（メタデータ） (2025-10-01T19:26:01Z)
• AI Debate Aids Assessment of Controversial Claims [73.8907110799657]
  我々は、AI論争が、議論の的になっている事実性主張の側面に対立する2つのAIシステムを議論させることで、偏見のある裁判官を真実に導くことができるかどうかを調査する。 研究Iでは、議論は人間の判断精度と信頼性の校正を継続的に改善し、コンサルタントを上回ります。 研究IIでは、人間のような人格を持つAI裁判官は、人格を持たない人格(70.1%)やデフォルトのAI裁判官(69.8%)よりも高い精度(78.5%)を達成する。 これらの調査結果は、AIの議論が、競争対象ドメインにおけるスケーラブルでバイアス耐性のある監視への有望な道であることを示している。
  論文  参考訳（メタデータ） (2025-06-02T19:01:53Z)
• Neurodivergent Influenceability as a Contingent Solution to the AI Alignment Problem [1.3905735045377272]
  AIアライメント問題は、人工知能(AI)システムが人間の価値観に従って行動することを保証することに重点を置いている。 狭義のAIからAI(Artificial General Intelligence, AGI)やスーパーインテリジェンス(Superintelligence, 超知能)への進化に伴い、制御に対する恐怖と現実的なリスクがエスカレートした。 ここでは、避けられないAIのミスアライメントを受け入れることが、競合するエージェントの動的なエコシステムを育むための緊急戦略であるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-05T11:33:18Z)
• A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
  現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。 賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
  論文  参考訳（メタデータ） (2023-10-20T14:41:46Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Explainability Pitfalls: Beyond Dark Patterns in Explainable AI [9.020313208419378]
  ユーザを操作する意図がない場合でも、AIの説明から予期せぬ負の下流効果を示す説明可能性落とし穴(EP)を導入する。 EPは、意図的に欺くプラクティスであるダークパターンとは異なるが、関連している。 本稿では,3つの相互接続レベルでEPに対処するための予防的および予防的戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-26T03:05:50Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。