論文の概要: Tracing mechanisms of sycophantic agreement in language models

• arxiv url: http://arxiv.org/abs/2609.35822v1
• Date: Mon, 21 Sep 2026 23:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.853062
• Title: Tracing mechanisms of sycophantic agreement in language models
• Title（参考訳）: 言語モデルにおけるサイコファンティクスの追跡機構
• Abstract要約: 我々は,梅毒合意のメカニズムを解明するために,因果仲裁分析を用いている。 表明された意見は、最後のプロンプトトークンの残ストリームに早期に組み込まれ、その後の回答検索に偏りが生じる。 意見が明示的に述べられず、代わりにコンテンツなしのプッシュバックを通じて伝達される場合、モデルの本来の正解を抑圧する、明確なヘッドセットが見つかる。
• 参考スコア（独自算出の注目度）: 1.6211471382528044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sycophantic agreement in language models refers to the tendency to overly affirm a user's stated beliefs or preferences, often at the expense of factual accuracy. Although it is widely recognized as an alignment failure, its underlying mechanisms remain poorly understood. In this work, we use causal mediation analysis to identify the mechanisms behind sycophantic agreement. We show that a stated opinion is incorporated into the residual stream of the final prompt token early, where it biases subsequent answer retrieval. A sparse set of early attention heads carries this opinion signal. Ablating these heads substantially reduces sycophancy while leaving factual accuracy largely intact. The same heads carry the opinion when it is explicitly stated, regardless of how it is phrased. When an opinion is not stated explicitly but instead conveyed through content-free pushback (e.g., ``Are you sure?"), we find a distinct set of heads that suppresses the model's original correct answer to promote a revised answer. By providing a mechanistic account of how opinions induce sycophantic agreement, this work takes a step toward developing more targeted and reliable alignment interventions.
• Abstract（参考訳）: 言語モデルにおけるシコファン的合意(Sycophantic agreement)は、しばしば事実の正確さを犠牲にして、ユーザの主張する信念や嗜好を過度に肯定する傾向を指す。 アライメント障害として広く認識されているが、その根底にあるメカニズムは理解されていない。 本研究では,シコファン性合意のメカニズムを明らかにするために,因果媒介分析を用いる。 提案手法は,最後のプロンプトトークンの残ストリームに記述された意見が組み込まれており,その後の回答検索に偏っていることを示す。 初期注目のまばらなセットは、この意見信号を運ぶ。 これらの頭部を非難することは、事実上の正確さをほとんど残しながら、薬効を著しく低下させる。 同じ頭は、どのように表現されたかに関わらず、明確に述べられているときに意見を持ちます。 意見が明示的に述べられず、代わりにコンテンツなしのプッシュバック(例: ``Are sure? この研究は、意見がいかにサイコファンティックな合意を導き出すかのメカニスティックな説明を提供することによって、よりターゲットを絞って信頼性の高いアライメントの介入を開発するための一歩を踏み出した。

関連論文リスト

• When Confidence Rises Too Early: Detecting Shortcut Reasoning via Premature Answer Commitment [76.62469105933384]
  大規模言語モデル (LLM) は、ある答えにたどり着くためのショートカットを頼りにし、その決定を合理化する。 ConfLensは、推論を通じて最終的な回答における信頼の進化を追跡するフレームワークです。 本稿では,解答コミットメントに対する確率分布のエントロピーを測定するために,DACS(Distributal Answer Commitment Score)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T13:00:25Z)
• How LLMs Are Persuaded: A Few Attention Heads, Rerouted [14.942277949005549]
  言語モデルは、事実の知識を捨てるよう説得することができる。 この脆弱性はAIの安全性の中心であるが、内部メカニズムはまだ理解されていない。 我々は、説得誘発事実誤りの因果関係をコンパクトに解明する。
  論文  参考訳（メタデータ） (2026-05-10T04:15:24Z)
• When Helpfulness Becomes Sycophancy: Sycophancy is a Boundary Failure Between Social Alignment and Epistemic Integrity in Large Language Models [0.13192560874022083]
  LLMにおける梅毒は、社会的整合性とてんかんの整合性の境界的な障害である、と我々は主張する。 既存の作業は、しばしば、誤ったユーザ信念との合意のような外部の振る舞いを通じて、梅毒を運用する。 我々は、アライメントターゲット、メカニズム、重症度からなる、梅毒の分類のための分類法を導入する。
  論文  参考訳（メタデータ） (2026-05-06T19:36:41Z)
• SWAY: A Counterfactual Computational Linguistic Approach to Measuring and Mitigating Sycophancy [1.4732811715354452]
  SWAY (英語: SWAY) は、サイコフィナンシーの教師なしの計算言語尺度である。 我々は,モデルが肯定的あるいは否定的な言語的圧力の下でどの程度の合意が変化するかを特定するための反実的促進機構を開発する。 逆の仮定が提案された場合、その答えがどのようなものかを考えるために、反実的緩和戦略をモデルに導入する。
  論文  参考訳（メタデータ） (2026-04-02T18:00:14Z)
• Sycophantic Anchors: Localizing and Quantifying User Agreement in Reasoning Models [0.0]
  推論モデルは間違ったユーザ提案によく一致する。 Emphsycophantic anchors -- モデルをユーザ合意に因果的にロックする文を導入します。 アンカーを確実に検出・定量化できることを示す。
  論文  参考訳（メタデータ） (2026-01-29T02:34:16Z)
• Critical or Compliant? The Double-Edged Sword of Reasoning in Chain-of-Thought Explanations [60.27156500679296]
  系統的な推論連鎖の摂動とデリバリートーンの操作による道徳シナリオにおけるCoT(Chain-of-Thought)の説明の役割について検討した。 1) 利用者は, 根拠に欠陥がある場合でも, 信頼感を保ち, 結果合意を信頼する傾向がみられた。 これらの結果は、CoTの説明が同時に明確化と誤解を招き、視覚的信頼よりも精査と批判的思考を奨励する説明を提供するNLPシステムの必要性を強調している。
  論文  参考訳（メタデータ） (2025-11-15T02:38:49Z)
• Think Clearly: Improving Reasoning via Redundant Token Pruning [57.01254508252785]
  推論過程における冗長性を意図的に除去することで、性能が大幅に向上することを示す。 本手法は, 推論集約型ベンチマークにおいて, トレーニングを伴わずに, 全体的な精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2025-06-17T06:04:01Z)
• Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding [40.78154629252038]
  曖昧なクレームにバイナリラベルを強制すると、評価の信頼性が低下する。 請求項のニュアンス評価を提供する方法として,LCM生成した要約の編集を紹介する。 我々は,ARMが主張の忠実性に関するアノテータ合意において,絶対的な21%の改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-04-01T19:08:24Z)
• A general mechanism of humor: reformulating the semantic overlap [0.0]
  本稿では,言語コミュニケーションに限らず,一般適用性のユーモアの認知メカニズムを提案する。 このモデルにおいて「発話」の「刺激」を代用することにより、非言語コミュニケーションに適用し易いメカニズムを得る。
  論文  参考訳（メタデータ） (2023-10-11T18:36:13Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。