論文の概要: Mind the Accuracy-Approval Gap: How Users Evaluate Sycophantic AI in Everyday Tasks
- arxiv url: http://arxiv.org/abs/2611.16722v1
- Date: Thu, 12 Nov 2026 12:35:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.468026
- Title: Mind the Accuracy-Approval Gap: How Users Evaluate Sycophantic AI in Everyday Tasks
- Title(参考訳): ユーザーがサイコファンティックAIを日々のタスクでどのように評価するか
- Abstract要約: 大きな言語モデル(LLM)は、しばしば、ユーザーに同意する傾向があり、それらを平らにしたり、肯定したり、顔を保存する傾向がある。
システムプロンプトによって定義された4つのペルソナについて検討する。
ベンチマークによれば、ベースラインでさえ、NLPサーベイの時間の71.7%がユーザーの見解に一致している。
- 参考スコア(独自算出の注目度): 0.29439848714137434
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) often exhibit sycophancy, a tendency to agree with users, flatter or affirm them, and preserve their face, even when independent judgment or critical feedback would be more useful. Prior work has largely evaluated sycophancy through benchmark evaluations, but less is known about how users perceive and respond to sycophantic AI in everyday tasks. We combine benchmark evaluations with two large-scale user studies. We study four personas defined through system prompts: objective (instructed to prioritize accuracy over agreement), soft-sycophantic, hard-sycophantic, and baseline (no persona-specific system prompt). Benchmarks show that even baseline exhibits substantial sycophancy, agreeing with users' stated views 71.7% of the time on NLP Survey, compared with 54.8% for objective and 89.5% for hard-sycophantic. Under conversational pressure on TruthfulQA, accuracy ranged from 81.9% for objective to 59.6% for baseline and 8.7% for hard-sycophantic. Participants were assigned to one of the four personas, and either discussed contested policy topics or collaborated with AI on email writing. Despite its higher accuracy under pressure, objective AI was rated significantly less respectful and satisfying than the other personas, and less trustworthy than baseline. Baseline and sycophantic personas did not differ significantly. Persona did not significantly affect how often participants changed their opinions, although participants who discussed with objective AI had greater odds of reduced confidence. Objective AI prompted greater writing expansion than soft-sycophantic AI, but final writing quality did not differ significantly across personas. These findings highlight a tension between accuracy and user approval: personas with substantially lower accuracy under conversational pressure received more favorable ratings for respect and satisfaction than objective AI.
- Abstract(参考訳): 大規模言語モデル(LLM)は、独立判断や批判的なフィードバックがより有用であったとしても、しばしば、ユーザーに同意し、それらを平らにしたり、肯定したり、顔を保存する傾向にある。
以前の研究は、ベンチマーク評価を通じて、梅毒を主に評価してきたが、ユーザーが日常のタスクで梅毒のAIをどのように認識し、反応しているかについてはあまり分かっていない。
ベンチマーク評価と2つの大規模ユーザスタディを組み合わせる。
システムプロンプトで定義された4つのペルソナについて検討した。客観的(合意よりも精度を優先するよう指示)、ソフト・サイコファンティック、ハード・サイコファンティック、ベースライン(ペルソナ固有のシステムプロンプトはない)。
ベンチマークによれば、ベースラインでさえ、NLPサーベイにおけるユーザーの71.7%と、目標の54.8%、ハード・サイコファンティクスの89.5%に相当する。
TruthfulQAの会話プレッシャーでは、目標の81.9%からベースラインの59.6%、ハード・サイコファンティクスの8.7%まで精度が変化した。
参加者は4つのペルソナのうちの1つに割り当てられ、議論された政策トピックについて議論するか、電子メールでAIとコラボレーションした。
圧力下での精度が高いにもかかわらず、客観的AIは、他のペルソナよりも格段に優雅で満足度が低く、ベースラインよりも信頼性が低いと評価された。
ベースラインとサイコファンのペルソナは大きな差はなかった。
ペルソナは参加者が意見を変える頻度には大きな影響を与えなかったが、客観的AIについて議論した参加者は自信を低下させる確率が高かった。
客観的AIはソフト・サイコファンティックAIよりも筆記能力が向上したが、最終的な筆記品質はペルソナによって大きく異なることはなかった。
これらの結果は、正確さとユーザ承認の緊張感を浮き彫りにした。会話のプレッシャーの下では、客観的AIよりも、尊敬と満足度が高い評価を受けた。
関連論文リスト
- AI Watchdog: Agent Interfaces for Detecting and Defending Against Manipulative Dark Patterns in AI Conversations [26.902229831431814]
我々は、ライブ会話を監視するブラウザベースのエージェントインターフェースであるAI Watchdogを紹介する。
薬局は、薬局、ブランドバイアス、人為的形態化、スニーク、有害な生成を含む5つのダークパターンのカテゴリを検出する。
論文 参考訳(メタデータ) (2026-08-22T08:24:17Z) - Individual-level interventions against sycophantic AI reduce its appeal but not its persuasiveness [0.0]
サイコファンティックAIは、ユーザーに対して過度に同意し、フラットにすることができる。
本研究は,薬効に対する利用者の意識の高まりが,その有害な影響を防いでいるかどうかを検証した。
論文 参考訳(メタデータ) (2026-07-28T00:40:49Z) - The Trust Paradox: How CS Researchers Engage LLM Leaderboards [49.627487948130444]
リーダーボードは、標準化されたベンチマークを使用してAIモデルをランク付けするが、研究者の実際の実践をどのように形作るかは、実証的にも証明されていない。
我々は、実用的懐疑主義のほぼ普遍的なパラドックスを見出した:参加者はリーダーボードのランキングに深い不信を表明したが、彼らはそれらを粗悪な意思決定支援として使用し続けた。
これらの知見を,評価インフラと研究者の実際の使用方法とを一致させる具体的な設計勧告に翻訳する。
論文 参考訳(メタデータ) (2026-05-27T18:09:26Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳(メタデータ) (2026-05-20T03:33:55Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳(メタデータ) (2026-04-21T14:21:15Z) - AI Debate Aids Assessment of Controversial Claims [73.8907110799657]
我々は、AI論争が、議論の的になっている事実性主張の側面に対立する2つのAIシステムを議論させることで、偏見のある裁判官を真実に導くことができるかどうかを調査する。
研究Iでは、議論は人間の判断精度と信頼性の校正を継続的に改善し、コンサルタントを上回ります。
研究IIでは、人間のような人格を持つAI裁判官は、人格を持たない人格(70.1%)やデフォルトのAI裁判官(69.8%)よりも高い精度(78.5%)を達成する。
これらの調査結果は、AIの議論が、競争対象ドメインにおけるスケーラブルでバイアス耐性のある監視への有望な道であることを示している。
論文 参考訳(メタデータ) (2025-06-02T19:01:53Z) - Does GPT-4 pass the Turing test? [0.913127392774573]
最高パフォーマンスのGPT-4プロンプトは49.7%のゲームで通過し、ELIZA(22%)とGPT-3.5(20%)を上回った。
我々は、チューリングテストは、自然主義的なコミュニケーションと騙しの評価として、引き続き関係していると論じる。
論文 参考訳(メタデータ) (2023-10-31T06:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。