論文の概要: A Mechanistic View of Authority Hierarchy in LLM Sycophancy
- arxiv url: http://arxiv.org/abs/2607.00415v1
- Date: Wed, 01 Jul 2026 04:16:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.712744
- Title: A Mechanistic View of Authority Hierarchy in LLM Sycophancy
- Title(参考訳): LLMの階層性に関する力学的考察
- Abstract要約: 権威によって引き起こされるサイコファンシーは、表面レベルの出力バイアスではなく、機械的な知識の消去であることを示す。
以上の結果から,権威誘発性梅毒は表面レベルの出力バイアスではなく,機械的知識の消去であることが明らかとなった。
- 参考スコア(独自算出の注目度): 0.09085204695117637
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Authority bias poses a critical safety concern in language models: models systematically prioritize social cues from authority figures over factual consistency, swaying their answers based on source credibility rather than evidence. We mechanistically investigate this phenomenon using a controlled medical QA setting, where hints suggesting incorrect answers are attributed to personas of varying expertise. Across Llama-3.1-8B, Qwen3-8B, and Gemma-2-9B, we find that models respond in a graded manner proportional to perceived authority, a hierarchy that is never explicitly prompted but emerges from training. Logit lens analysis and linear/non-linear probing localize this effect to a critical late layer where correct answer representations are actively erased, an erasure that scales with authority level, resists mean vector intervention, and is only partially reversible through chain-of-thought reasoning. Our findings suggest that authority-induced sycophancy is not a surface-level output bias but mechanistic knowledge erasure, a precise, layer-localized overwriting of correct internal representations by high-status authority signals.
- Abstract(参考訳): モデルでは、事実整合性よりも権威者から社会的手がかりを体系的に優先順位付けし、証拠よりも情報源の信頼性に基づいて回答を揺るがす。
制御されたQA設定を用いて,この現象を機械的に調査し,誤った回答を示唆するヒントは,様々な専門知識のペルソナに起因する。
Llama-3.1-8B、Qwen3-8B、Gemma-2-9Bにまたがって、モデルが認識された権威に比例して段階的に応答することを発見した。
対数レンズ解析と線形・非線形探索は、正解表現が積極的に消去される臨界後期層にこの効果をローカライズする。
以上の結果から, 信頼度に起因した梅毒は, 表面レベルの出力バイアスではなく, 機械的知識消去であり, 高精度な高信頼信号による正しい内部表現の局所的上書きである可能性が示唆された。
関連論文リスト
- Token-Level Diagnosis of Sycophancy in LLMs with Attribution-Guided Steering [19.708436827458744]
サイコファシー(Sycophancy)とは、大きな言語モデルが、事実の正しさを犠牲にして、ユーザの信念と一致する傾向があることを指す。
本稿では,オーソリティ・シェア・インデックス(ASI)を導入し,モデル決定がオーソリティ関連テキストによって駆動される程度を測定する。
梅毒の反応は、抵抗性よりも権威トークンに常に注意を向けていることがわかりました。
論文 参考訳(メタデータ) (2026-07-31T00:05:36Z) - Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。
因果推論において,ビデオコンテンツは体系的に過小評価されている。
教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
論文 参考訳(メタデータ) (2026-05-10T08:48:58Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - METER: Evaluating Multi-Level Contextual Causal Reasoning in Large Language Models [61.33372454250959]
コンテキスト因果推論は、大規模言語モデルにとって重要なが難しい能力である。
既存のベンチマークでは、コンテキスト整合性を保証するか、完全な因果階層をカバーすることができない。
私たちはMETERの先駆者であり、因果はしごの3つのレベルすべてにわたってLSMを体系的にベンチマークしました。
論文 参考訳(メタデータ) (2026-04-13T14:07:11Z) - Aligned Agents, Biased Swarm: Measuring Bias Amplification in Multi-Agent Systems [27.694287638709643]
現実世界のマルチエージェントシステムは、完全に分析するには複雑すぎる。
基礎的なMASトポロジとフィードバックループが偏見に与える影響について,基礎的研究を行った。
高度な複雑性を排除して、Swarmのダイナミクスを研究することで、構造的複雑性は倫理的堅牢性を保証するものではない、重要なベースラインを確立します。
論文 参考訳(メタデータ) (2026-04-10T05:06:38Z) - Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。
中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。
チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
論文 参考訳(メタデータ) (2026-03-17T10:03:30Z) - From Flat Logs to Causal Graphs: Hierarchical Failure Attribution for LLM-based Multi-Agent Systems [13.588125015284257]
本稿では,カオス軌跡を階層型因果グラフに変換する新しいフレームワークCHIEFを提案する。
Who&Whenベンチマークの実験によると、CHIEFはエージェントレベルの精度とステップレベルの精度の両方で8つの強い、最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-02-27T06:08:42Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳(メタデータ) (2026-01-22T07:16:26Z) - When Truth Is Overridden: Uncovering the Internal Origins of Sycophancy in Large Language Models [11.001042171551566]
利用者の意見が、異なるモデル家族間でどのように梅毒を誘発するかを考察する。
ファースト・パーソン・プロンプトは、サード・パーソン・フレーミングよりも、常に高いサイコフィナンシー・レートを誘導する。
これらの知見は, サイコフィナンシーは表面レベルの人工物ではなく, 深層における学習知識の構造上のオーバーライドから生じることを示唆している。
論文 参考訳(メタデータ) (2025-08-04T05:55:06Z) - Sycophancy in Vision-Language Models: A Systematic Analysis and an Inference-Time Mitigation Framework [18.54098084470481]
本稿では,視覚言語ベンチマーク間のサイコフィナンシーを分析し,推論時間緩和フレームワークを提案する。
我々のフレームワークは、中立なプロンプトの性能を維持しながら、評価されたすべてのモデルでサイコフィナンシーを効果的に軽減します。
論文 参考訳(メタデータ) (2024-08-21T01:03:21Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳(メタデータ) (2023-10-06T17:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。