論文の概要: Who Is Sycophantic to Whom? Confident LLMs, Human Deference, and the Collapse of Trust Calibration

• arxiv url: http://arxiv.org/abs/2610.31579v1
• Date: Thu, 22 Oct 2026 17:15:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.494128
• Title: Who Is Sycophantic to Whom? Confident LLMs, Human Deference, and the Collapse of Trust Calibration
• Title（参考訳）: サイコファンって誰? LLMと人間推論と信頼校正の崩壊を信じる
• Abstract要約: 大きな言語モデル(LLM)が、ユーザが聞きたいものに向かって曲がっているかどうかを問う。 同じモデル上に構築された5つのアシスタント(GPT-5-mini)とチャットすることで、32人の被験者が5つの科学トピックを学習した。 すべての助手が自信を持って話をした。 それぞれの話題の後、驚きのクイズが正しい事実、植えられた虚偽、そして2つの気を散らし、すべての回答に対する信頼度を提示した。 104のクイズと1,040の回答で、スコアは10点中7.4点から2.9点に下がった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Research on sycophancy asks whether large language models (LLMs) bend towards what their users want to hear. We ask the reverse question: when an LLM is confident, consistent, and wrong, do users bend towards it? In a within-subjects experiment, 32 participants learned up to five science topics by chatting with five assistants built on the same model (GPT-5-mini). Unknown to participants, each assistant's briefing had 0, 25, 50, 75, or 100% of its facts replaced by plausible falsehoods, and every assistant spoke with full confidence. A surprise quiz after each topic offered the correct fact, the planted falsehood, and two distractors, with a confidence rating for every answer. Across 104 quizzes and 1,040 answers, scores fell from 7.4 to 2.9 out of 10, and the planted option was chosen on 60% of falsified items against 11% of correctly taught ones (odds ratio 12.5). Transcript coding showed that whenever the assistant stated a falsehood, it was adopted about 65% of the time at every falsification level. Absorbed falsehoods were held with high confidence (8.4/10), the modeled confidence advantage of right over wrong answers vanished, and the discrimination of confidence for correctness fell from an AUROC of 0.70 to chance, while post-task trust ratings barely moved. Participants tended to return to the chat more when the assistant was worse, but returning went with more absorption, not less, and 30% of all turns pasted quiz questions back to the source being checked. The assistant itself was almost never sycophantic and never conceded under pushback. We introduce a baseline-corrected Human Deference Index to quantify this human-side sycophancy and argue that trustworthiness is a property of the human-AI pair, that sycophancy evaluations should measure both directions, and that learning interfaces must make reliability legible claim by claim.
• Abstract（参考訳）: 梅毒の研究は、ユーザーが聞きたいものに向かって大きな言語モデル(LLM)が曲がっているかどうかを問う。 LLMが自信があり、一貫性があり、間違ったとき、ユーザはそれに向かって曲がるのか? 実験では、32人の被験者が、同じモデル(GPT-5-mini)上に構築された5つのアシスタントとチャットすることで、最大5つの科学トピックを学んだ。 参加者には知られていなかったが、各アシスタントのブリーフィングには0、25、50、75、100%の事実が、もっともらしい虚偽に置き換えられ、全てのアシスタントが完全に自信を持って話した。 それぞれの話題の後、驚きのクイズが正しい事実、植えられた虚偽、そして2つの気を散らし、すべての回答に対する信頼度を提示した。 104のクイズと1,040の回答で、スコアは10点中7.4点から2.9点に下がった。 トランスクリプトの符号化では、アシスタントが虚偽の表現をするたびに、各ファルシフィケーションレベルで約65%の時間で採用されることが示されている。 確証された虚偽は高い信任(8.4/10)で行われ、誤答に対する右利得のモデル化された信任性は消滅し、正当性に対する信頼の判断はAUROCの0.70から偶然に下がった。 参加者は、アシスタントが悪くなったときにチャットに戻る傾向にあったが、リターンは吸収度が増し、より小さくなり、クイズ質問の30%がチェック対象のソースに戻された。 アシスタント自体はほとんど幻想的ではなく、プッシュバックの下では決して承認されなかった。 我々は,この人間側の梅毒を定量化するための基準線補正ヒト参照指数を導入し,信頼性は人間とAIのペアの性質であり,梅毒の評価は両方の方向を測るべきであり,学習インタフェースはクレームによって信頼性の高いクレームを作らなければならないと主張している。

関連論文リスト

• Measurement Validity and Representation Dynamics of Confidence Signals in Large Language Models [0.0]
  我々は,音声による信頼度,隠れ状態に対する線形探索,サンプル回答間の一致を比較した。 第一に、事前充填状態で訓練されたプローブは、サンプリングされた回答がより早く発見されるかどうかを予測します。 第二に、言語化された信頼は不安定である:少し異なるプロンプトテンプレートは、ほとんど相関しないスコアを得る。 第3に、予測エラーは誤解を招く: 単語の信頼度はベースレート近くでクラスタ化され、差別が不十分であるのに対して、サンプリング合意はECEが悪く、解像度が約2倍である。
  論文  参考訳（メタデータ） (2026-10-19T06:04:38Z)
• Grounded Credit Assignment in Reinforcement Learning for Multi-Turn Search Agents [49.14597017870827]
  Search-R1は7つのQAベンチマークの正確性を高めるが、Bamboogleでは84.0%から42.9%となっている。 検索と回答を別々に行うために,グラウンドド・クレジット・アサインメント(GCA)を提案する。
  論文  参考訳（メタデータ） (2026-10-16T08:43:11Z)
• Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions [39.68876860096913]
  LLMシステムはますます、互いに議論し、批判し、チェックするエージェントのグループに依存している。 我々はこの仮定を最小の敵に対して検証する。 3つの敵エージェントが存在すると、良性エージェントは51.6%の露出したターンで偽の答えを保持するが、公に支持するのは19.7%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-10-15T16:12:07Z)
• An Analysis of Training-Free Self-Reported Confidence in Language Models [13.820419805749436]
  我々は,回答で言語化された信頼度,ポストホックな$P(mathrmTrue)$,同じ100のTriviaQA質問でさらに3世代と合意する,3つのトレーニング自由信号を分析した。 1つのモデルから9つのエラーのうち4つと、もう1つのモデルから8つのエラーが一致したサンプルサポートを受けており、自己一貫性が共有された誤解を増幅できることを示している。
  論文  参考訳（メタデータ） (2026-09-17T15:10:28Z)
• The Answer Is Not the Argument [0.00897008283486962]
  チェーンオブ思考監視はAI監視のために提案されているが、評価は、しばしば信頼できる参照回答を提供する。 回答アクセスが推論検証を改善するのか、それとも主に誤った結論を公開するのかを問う。
  論文  参考訳（メタデータ） (2026-08-31T19:06:44Z)
• Rift: A Conflict Signature for Deception in Language Models [0.0]
  真実を知りながら横たわるモデルは、ELKが行動評価だけでは扱えない中心的なケースである。 このような偽造が、正直な誤りと区別する内部的な署名を残しているかどうかを問う。 偽りのフォワードパスは、競合シグネチャを持つ。2.1-2.3倍の残留ランクを持つ。
  論文  参考訳（メタデータ） (2026-06-15T19:22:02Z)
• ConfRAG: Confidence-Guided Retrieval-Augmenting Generation [41.78313747240249]
  複数の事実性ベンチマークで幻覚率を20～40%から5%以下に下げる微調整戦略であるConfQAを紹介した。 モデルが不確実に応答した場合のみRAGを起動するトリガー戦略であるConfRAGを提案する。 この枠組みは、不要な外部検索を30%以上削減しつつ、理想的な場合において95%以上の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-08T22:51:46Z)
• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation [70.27452774899189]
  大規模言語モデル(LLM)は、ユーザを誤解させるのではなく、不正な例に対して低い信頼を示さなければならない。 2023年11月現在、最先端のLLMはこれらの確率へのアクセスを提供していない。 言語的信頼度と代理モデル確率を構成する最良の方法は、12データセットすべてに対して最先端の信頼度推定を与える。
  論文  参考訳（メタデータ） (2023-11-15T11:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。