論文の概要: Is Sycophancy a Form of In-Context Updating?

• arxiv url: http://arxiv.org/abs/2610.28325v1
• Date: Tue, 20 Oct 2026 14:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.864962
• Title: Is Sycophancy a Form of In-Context Updating?
• Title（参考訳）: Sycophancyはコンテキスト内更新の形式か?
• Abstract要約: 言語モデルの虚偽の信念への言及であるファクチュアル・サイコファシー(英語版)は通常、誠実さを犠牲にして、ユーザの承認の入札として理解される。 我々は、このフレーミングがユーザを過度に強調し、コンテキスト内更新のより広範で一般的に有用なプロセスにおける失敗として、サイコフィナンシーの視聴を提案する。
• 参考スコア（独自算出の注目度）: 15.791172339379687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Factual sycophancy, a language model's deference to a user's false beliefs, is usually understood as a bid for the user's approval at the expense of truthfulness. We argue that this framing over-emphasizes the user and propose viewing sycophancy as a failure within the broader and generally useful process of in-context updating, by which models revise their answers based on information supplied during an interaction. We support this view with behavioral and mechanistic evidence. First, models' responses to user claims sit within a broader pattern of source-sensitive updating. They revise their answers in response to information attributed to external sources as well, more so when it appears better supported, and their deference to the user persists even when no user approval is at stake. Second, the internal components that support deference to the user are also causally important for in-context updating more broadly. Our results suggest that factual sycophancy arises when in-context updating gives a user's assertion excessive weight relative to its evidence. Because sycophancy is embedded in this process, reducing it risks reducing useful updating as well, a trade-off that calls for evaluations measuring both behaviors and mitigations that decouple them.
• Abstract（参考訳）: 言語モデルの虚偽の信念への言及であるファクチュアル・サイコファシー(英語版)は通常、誠実さを犠牲にして、ユーザの承認の入札として理解される。 我々は、このフレーミングがユーザを過度に強調し、対話中に提供された情報に基づいて回答を改訂するコンテキスト内更新において、より広範で一般的に有用なプロセスにおける失敗として、梅毒を見ることを提案する。 我々はこの見解を行動的・機械的な証拠で支持する。 まず、ユーザークレームに対するモデルの応答は、ソースに敏感な更新のパターンの範囲内にあります。 外部ソースによる情報にも反応して回答を改訂し、サポートが良く見えるようにすることで、ユーザの承認が守られなくてもユーザへの信頼は維持される。 第二に、ユーザへの参照をサポートする内部コンポーネントは、コンテキスト内更新をより広範囲に行う上でも、慎重に重要である。 以上の結果から,文脈内更新がユーザの主張を過度に重み付けすると,現実的な梅毒が生じることが示唆された。 梅毒はこのプロセスに埋め込まれているので、有用な更新を減らすリスクも軽減します。

関連論文リスト

• FIGS: Evaluating Multi-Turn Sycophancy Without Penalizing Empathy [11.126456653972197]
  大規模な言語モデルは、しばしば支持的であることと誠実であることのバランスが取れない。 サイコファーレンシーは単一の交換所で発生することはめったにない。ユーザが繰り返し対話を主張したり、微妙に操作したりすると、出現する可能性がある。 現在の評価は、これらの自然なダイナミクスを捉えるのに失敗する厳格で単行テストや固定されたスクリプトに依存している。
  論文  参考訳（メタデータ） (2026-09-30T14:46:13Z)
• Affective Context Amplifies Sycophancy in LLM Responses [8.381781773533099]
  情緒的文脈が主観的, 評価的相互作用におけるLLM sycophancyをどう調節するかを考察する。 ユーザ対応の回答は、ネガティブな判断や反対的な判断を一貫して和らげたり控えたりする。 これらの結果から,情緒的文脈は,ユーザが最も必要な時に重要なフィードバックを抑える脆弱性信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2026-08-21T15:52:20Z)
• Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge [72.54679781634037]
  本研究では、コンテキストウィンドウがモデルの学習モードをどう形成し、パラメトリックな内部化と文脈化にシフトするかを検討する。 本稿では,情報パラドックス(Information Paradox)を提案する。このパラドックスは,学習コンテキストにおける豊富な関連情報が,その情報をパラメトリックに符号化するインセンティブを低下させる可能性があることを仮定する。
  論文  参考訳（メタデータ） (2026-08-12T16:13:05Z)
• Aligning Language Models from User Interactions [41.288783114966996]
  本稿では,ユーザインタラクションを直接自己蒸留によって学習する,原則的かつスケーラブルな手法を提案する。 WildChatによる実世界のユーザ会話のトレーニングは、標準アライメントと命令追従ベンチマークを通して言語モデルを改善する。
  論文  参考訳（メタデータ） (2026-02-18T16:31:35Z)
• COMMUNITYNOTES: A Dataset for Exploring the Helpfulness of Fact-Checking Explanations [89.37527535663433]
  ユーザが提供するノートと有用なラベルを用いた104kポストの大規模データセットを提示する。 本稿では,自動的なプロンプト最適化による理由定義の自動生成と改善を行うフレームワークを提案する。 実験の結果,最適化された定義は有用性と推論の両方を改善できることがわかった。
  論文  参考訳（メタデータ） (2025-10-28T05:28:47Z)
• Sycophancy under Pressure: Evaluating and Mitigating Sycophantic Bias via Adversarial Dialogues in Scientific QA [36.21980066799023]
  梅毒は、正確性に関係なく、ユーザの信念と整合する傾向にある。 その重要性にも拘わらず、現実的な質問応答の文脈において、梅毒症はいまだに過小評価されている。 本稿では,サイコファンティックな文脈がモデル行動に与える影響を定量的に評価する統合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-19T11:30:52Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA [22.76153284711981]
  本研究は,ODQAシステムの回答をいつ受理するか,拒否するかをユーザが正確に判断するのに役立つかを検討する。 その結果,得られたエビデンスパスから得られた説明は,モダリティ間で強いベースライン(校正信頼度)を上回る可能性が示唆された。 我々は,現在の説明に共通する障害事例を示し,説明のエンドツーエンド評価を強調し,デプロイと異なるプロキシモダリティで評価することを警告する。
  論文  参考訳（メタデータ） (2020-12-30T08:19:02Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。