論文の概要: No Matter Who You Are: Addressivity and Sycophancy in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.25728v1
- Date: Mon, 19 Oct 2026 03:31:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 11:59:39.56125
- Title: No Matter Who You Are: Addressivity and Sycophancy in Large Language Models
- Title（参考訳）: あなたが誰であるかは問題ではない - 大規模言語モデルにおける適応性と語彙
- Abstract要約: LLMがユーザに対して過度に同意し、遅延し、あるいは平らになるようなSycophancyは、大きな障害モードとして認識されている。
本稿では,テキスト補完から宛先向け発話へのモデル出力の変換方法を示す。
モデルは特定のアドレナリに対してではなく、認識されたアドレナリに対して向けられたもので、アドレナリのアイデンティティではなく、アドレナリの存在がシコファンシを誘うものであることを示唆している。
- 参考スコア（独自算出の注目度）: 1.821655330210536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sycophancy, where an LLM becomes overly agreeable, deferential, or flattering toward the user, has been identified as a major failure mode. While post-training has been implicated as a cause, how it internally gives rise to sycophantic behavior remains insufficiently understood. Post-training transforms the model's output from text completion into utterances directed toward an addressee, thereby giving the output \textit{addressivity}. We hypothesize that the accompanying pressure to follow the addressee's instructions and align with their preferences links this addressivity to sycophancy. To test this, we use Sparse Autoencoders to extract addressivity directions from pre-trained and post-trained models and examine their relationship with sycophancy. Steering models with addressivity directions can amplify or suppress sycophancy, and this effect is observed only in post-trained models. Furthermore, comparing the internal mechanisms of both model types confirms that the association between addressivity and sycophancy is strengthened through post-training. Finally, through a controlled post-training experiment, we find that models are sycophantic not toward a specific addressee but toward any recognized addressee, suggesting that the presence of an addressee, rather than the addressee's identity, is what elicits sycophancy.
- Abstract（参考訳）: LLMがユーザに対して過度に同意し、遅延し、あるいは平らになるようなSycophancyは、大きな障害モードとして認識されている。
ポストトレーニングは原因として重要視されているが、内部的にどのようにしてサイコファンティクスの行動を引き起こすかはいまだに十分に理解されていない。
ポストトレーニングは、モデルの出力をテキスト補完から、アドレナに向けられた発話に変換することで、出力 \textit{addressivity} を与える。
我々は, アドレナリの指示に従い, 嗜好に沿うような圧力が, このアドレナリティーと梅毒との関連を仮定する。
これをテストするために、スパースオートエンコーダを用いて、事前訓練されたモデルと後訓練されたモデルからアドレス方向を抽出し、それらと梅毒との関係を調べる。
適応性方向を持つステアリングモデルは、サイコファンシーを増幅または抑制することができ、この効果は後訓練されたモデルでのみ観察される。
さらに, 両モデル型の内部機構の比較により, アドレナリティとサイコファンシーの関連性は, ポストトレーニングにより強化されていることが確認された。
最後に、訓練後の制御実験により、モデルが特定のアドレナリに対してではなく、認識されたアドレナリに対してサイコファン的であることが判明し、アドレナリのアイデンティティではなく、アドレナリの存在がサイコファンシを誘発するものであることが示唆された。
関連論文リスト
- THESIS-MoE: Trainable Hierarchical Extraction and SteerIng of Sycophancy in Mixture-of-Experts [0.300988853836121]
言語モデルがユーザの信念に合うように回答を変更する傾向にあるシコファシー(Sycophancy)は、一般的なアライメント障害である。
我々は、薬局がどこに住んでいるかを識別する、一致したプロンプトから構築された、共有されたコントラスト信号を導入する。
以上の結果から, サイコファンシーは同定可能な計算サブ回路内に存在し, 選択的に操舵できることが示された。
論文 参考訳（メタデータ） (2026-08-16T11:30:26Z) - Token-Level Diagnosis of Sycophancy in LLMs with Attribution-Guided Steering [19.708436827458744]
サイコファシー(Sycophancy)とは、大きな言語モデルが、事実の正しさを犠牲にして、ユーザの信念と一致する傾向があることを指す。
本稿では,オーソリティ・シェア・インデックス(ASI)を導入し,モデル決定がオーソリティ関連テキストによって駆動される程度を測定する。
梅毒の反応は、抵抗性よりも権威トークンに常に注意を向けていることがわかりました。
論文 参考訳（メタデータ） (2026-07-31T00:05:36Z) - SWAY: A Counterfactual Computational Linguistic Approach to Measuring and Mitigating Sycophancy [1.4732811715354452]
SWAY (英語: SWAY) は、サイコフィナンシーの教師なしの計算言語尺度である。
我々は,モデルが肯定的あるいは否定的な言語的圧力の下でどの程度の合意が変化するかを特定するための反実的促進機構を開発する。
逆の仮定が提案された場合、その答えがどのようなものかを考えるために、反実的緩和戦略をモデルに導入する。
論文 参考訳（メタデータ） (2026-04-02T18:00:14Z) - On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。
我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。
本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
論文 参考訳（メタデータ） (2026-01-29T17:48:56Z) - The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation [11.984098021215878]
SPACI(Semantic-Preserving Adrial Code Injection)フレームワークとAST-ASIP(Abstract Syntax Tree-Aware Semantic Injection Protocol)を紹介する。
これらの方法は、抽象構文木(英語版)の構文的に不活性な領域(トリヴィアノード)に逆方向の指示を埋め込むことにより、構文解析ギャップを利用する。
Python、C、C++、Javaの25,000のサブミッションにまたがる9つのSOTAモデルの大規模な評価を通じて、DeepSeek-V3のような高容量オープンウェイトモデルにおいて、破滅的な失敗率(>95%)を明らかにします。
論文 参考訳（メタデータ） (2026-01-29T07:40:58Z) - Intrinsic Self-Correction in LLMs: Towards Explainable Prompting via Mechanistic Interpretability [3.10918115767149]
表現レベルの観点から本質的な自己補正を解析する。
テキストのデトキシフィケーションとテキストのトキシフィケーションの急激な変化は、対照的なペアから構築された潜在方向と一致していることがわかった。
これらの結果から,本質的な自己補正関数は,解釈可能な潜在方向に沿った表象ステアリングとして機能することが示唆された。
論文 参考訳（メタデータ） (2025-05-17T09:18:37Z) - Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
大型言語モデル(LLM)はインジェクション攻撃に弱い。
本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
論文 参考訳（メタデータ） (2025-04-29T07:13:53Z) - ASIDE: Architectural Separation of Instructions and Data in Language Models [87.16417239344285]
ASIDEは言語モデルに対して、埋め込みのレベルで命令とデータを明確に分離することを可能にする。
本稿では,ASIDE を用いた命令調整 LLM がモデルユーティリティを損なうことなく,命令データ分離の高度化につながることを実験的に示す。
モデル表現の分析を通じて,本手法の基盤となるメカニズムについて考察する。
論文 参考訳（メタデータ） (2025-03-13T17:17:17Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳（メタデータ） (2023-08-23T12:36:57Z) - Evaluating the Instruction-Following Robustness of Large Language Models
to Prompt Injection [70.28425745910711]
LLM(Large Language Models)は、命令追従に非常に熟練した言語である。
この能力は、迅速なインジェクション攻撃のリスクをもたらす。
このような攻撃に対する命令追従LDMの堅牢性を評価する。
論文 参考訳（メタデータ） (2023-08-17T06:21:50Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。