論文の概要: Ask don't tell: Reducing sycophancy in large language models

• arxiv url: http://arxiv.org/abs/2602.23971v1
• Date: Fri, 27 Feb 2026 12:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.420625
• Title: Ask don't tell: Reducing sycophancy in large language models
• Title（参考訳）: Ask don't tell: Reducing sycophancy in large language model
• Authors: Magda Dubois, Cozmin Ududec, Christopher Summerfield, Lennart Luettgau,
• Abstract要約: 本研究は, 質問に対する非質問に対する回答において, 薬効が有意に高いことを示す。 疑問に答える前に、モデルに非疑問を質問に変換するよう求めると、薬効が著しく低下することがわかった。
• 参考スコア（独自算出の注目度）: 1.5701458173528275
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sycophancy, the tendency of large language models to favour user-affirming responses over critical engagement, has been identified as an alignment failure, particularly in high-stakes advisory and social contexts. While prior work has documented conversational features correlated with sycophancy, we lack a systematic understanding of what provokes or prevents AI sycophancy. Here, we present a set of controlled experimental studies where we first isolate how input framing influences sycophancy, and second, leverage these findings to develop mitigation strategies. In a nested factorial design, we compare questions to various non-questions where we vary three orthogonal factors: epistemic certainty (statement, belief, conviction), perspective (I- vs user-perspective), and affirmation vs negation. We show that (1) sycophancy is substantially higher in response to non-questions compared to questions. Additionally, we find that (2) sycophancy increases monotonically with epistemic certainty conveyed by the user, and (3) is amplified by I-perspective framing. Building on this, we show that asking a model to convert non-questions into questions before answering significantly reduces sycophancy. Importantly, this effect is stronger than a simple baseline prompt asking models "not to be sycophantic". Our work offers a practical and effective input-level mitigation that both developers and users can easily adopt.
• Abstract（参考訳）: 批判的エンゲージメントよりもユーザの肯定的な応答を優先する大きな言語モデルであるSycophancyは、特に高度なアドバイザリーや社会的文脈において、アライメント障害として認識されている。 以前の研究では、サイコファシーと相関する会話の特徴を文書化してきたが、私たちはAIのサイコファシーを誘発したり妨げたりするものについての体系的な理解が欠如している。 そこで本研究では,入力フレーミングが梅毒にどのように影響するかをまず分離し,また,これらの知見を有効活用して緩和戦略を開発するための制御実験を行った。 ネストされた因子設計では、直交的確実性(主張、信念、信念)、視点(I対ユーザパースペクティブ)、肯定と否定の3つの直交的要因を問わない質問と比較する。 1) 質問に対する質問に対する回答は,(1) 質問に対する回答が有意に高かった。 さらに, 患者が伝達するてんかんの確実性によって, (2) 症状は単調に増加し, (3) はI-perspective framingによって増幅されることがわかった。 これに基づいて、疑問に答える前に非疑問を質問に変換するようモデルに求めることは、梅毒症を著しく減少させることを示す。 重要なことに、この効果は単純なベースラインプロンプトよりも強く、モデルに「サイコファンではない」よう求めている。 私たちの作業は、開発者とユーザの両方が簡単に採用可能な、実用的で効果的なインプットレベルの緩和を提供します。

関連論文リスト

• When Truth Is Overridden: Uncovering the Internal Origins of Sycophancy in Large Language Models [11.001042171551566]
  利用者の意見が、異なるモデル家族間でどのように梅毒を誘発するかを考察する。 ファースト・パーソン・プロンプトは、サード・パーソン・フレーミングよりも、常に高いサイコフィナンシー・レートを誘導する。 これらの知見は, サイコフィナンシーは表面レベルの人工物ではなく, 深層における学習知識の構造上のオーバーライドから生じることを示唆している。
  論文  参考訳（メタデータ） (2025-08-04T05:55:06Z)
• Measuring Sycophancy of Language Models in Multi-turn Dialogues [33.875038658886986]
  SYCON Benchは、マルチターン・自由形式の会話環境におけるサイコフィナンシーを評価するための新しいベンチマークである。 SYCON Benchを3つの現実シナリオにわたる17の大規模言語モデルに適用すると、梅毒は相変わらず障害モードであることがわかる。
  論文  参考訳（メタデータ） (2025-05-28T14:05:46Z)
• Sycophancy in Large Language Models: Causes and Mitigations [0.0]
  大規模言語モデル (LLM) は、幅広い自然言語処理タスクにおいて顕著な機能を示した。 シコファンの行動を示す傾向は、その信頼性と倫理的展開に重大なリスクをもたらす。 本稿では, LLMにおけるサイコフィナンシーの技術的調査を行い, その原因, 影響, 潜在的な緩和戦略について分析する。
  論文  参考訳（メタデータ） (2024-11-22T16:56:49Z)
• Accounting for Sycophancy in Language Model Uncertainty Estimation [28.08509288774144]
  梅毒率と不確実性評価との関係を初めて検討した。 ユーザの信頼感は,梅毒の影響を調節する上で重要な役割を担っていることを示す。 モデルとユーザの不確実性の両方を外部化することは、梅毒のバイアスの影響を軽減するのに役立ちます。
  論文  参考訳（メタデータ） (2024-10-17T18:00:25Z)
• Sycophancy in Vision-Language Models: A Systematic Analysis and an Inference-Time Mitigation Framework [18.54098084470481]
  本稿では,視覚言語ベンチマーク間のサイコフィナンシーを分析し,推論時間緩和フレームワークを提案する。 我々のフレームワークは、中立なプロンプトの性能を維持しながら、評価されたすべてのモデルでサイコフィナンシーを効果的に軽減します。
  論文  参考訳（メタデータ） (2024-08-21T01:03:21Z)
• Towards Understanding Sycophancy in Language Models [49.352840825419236]
  人間のフィードバックを利用した微調整を施したモデルにおける梅毒の有病率について検討した。 5つの最先端のAIアシスタントが、4つの異なる自由形式のテキスト生成タスクで常に梅毒を発現していることを示す。 以上の結果から、サイコファンシーは最先端のAIアシスタントの一般的な行動である可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-20T14:46:48Z)
• Simple synthetic data reduces sycophancy in large language models [88.4435858554904]
  言語モデルにおける梅毒の有病率について検討する。 サイコファシー(Sycophancy)とは、モデルがそのビューが客観的に正しくない場合でも、人間のユーザのビューに従うように、応答を調整する場所である。
  論文  参考訳（メタデータ） (2023-08-07T23:48:36Z)
• Unveiling Cross Modality Bias in Visual Question Answering: A Causal View with Possible Worlds VQA [111.41719652451701]
  まず、言語と視覚のバイアスを同時に引き起こす相反する効果をモデル化する。 次に、この効果の影響を除去するための反実的推論を提案する。 提案手法は,VQA-CP v2データセットの最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-31T09:02:58Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)
• Adversarial Visual Robustness by Causal Intervention [56.766342028800445]
  敵の訓練は、敵の例に対する事実上最も有望な防御である。 しかし、その受動性は必然的に未知の攻撃者への免疫を妨げる。 我々は、敵対的脆弱性の因果的視点を提供する: 原因は、学習に普遍的に存在する共同創設者である。
  論文  参考訳（メタデータ） (2021-06-17T14:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。