論文の概要: THESIS-MoE: Trainable Hierarchical Extraction and SteerIng of Sycophancy in Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2608.15687v1
- Date: Sun, 16 Aug 2026 11:30:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.391076
- Title: THESIS-MoE: Trainable Hierarchical Extraction and SteerIng of Sycophancy in Mixture-of-Experts
- Title（参考訳）: TheSIS-MoE:Sycophancyの訓練可能な階層的抽出とステアイン
- Abstract要約: 言語モデルがユーザの信念に合うように回答を変更する傾向にあるシコファシー(Sycophancy)は、一般的なアライメント障害である。
我々は、薬局がどこに住んでいるかを識別する、一致したプロンプトから構築された、共有されたコントラスト信号を導入する。
以上の結果から, サイコファンシーは同定可能な計算サブ回路内に存在し, 選択的に操舵できることが示された。
- 参考スコア（独自算出の注目度）: 0.300988853836121
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sycophancy, the tendency of a language model to change its answer to match a user's stated belief, is a common alignment failure. Existing activation steering methods typically apply a single contrastive direction uniformly throughout the model, which is an unconditional intervention that alters activations even when no sycophantic behavior is present, trading knowledge retention for behavioral correction. In Mixture-of-Experts (MoE) models, prior work further suggests that behavior is encoded within expert computations rather than routing decisions alone, making precise behavioral steering particularly challenging. In this work, we introduce a shared contrastive signal, built from matched prompts with and without a stated belief, that identifies where sycophancy lives across the MoE hierarchy and drives interventions that act only where the behavior is present. We formulate localization as a causal search over a granularity ladder of MoE blocks, experts, attention blocks, and heads, and compare unconditional subtraction against two conditional alternatives: an analytic projection-based subtraction and a learned per-token gate that steers the model away from sycophancy while keeping its weights frozen. We evaluate on three MoE models measuring sycophancy alongside general knowledge and reasoning benchmarks. Our conditional interventions removed up to 90\% of the belief-induced sycophancy. Our results demonstrate that sycophancy resides in identifiable computational subcircuits and can be selectively steered while maintaining a favorable removal-retention trade-off.
- Abstract（参考訳）: 言語モデルがユーザの信念に合うように回答を変更する傾向にあるシコファシー(Sycophancy)は、一般的なアライメント障害である。
既存のアクティベーションステアリング法は、通常、モデル全体を通して単一のコントラスト的な方向を均一に適用するが、これは、シコファンティックな振る舞いが存在しない場合でも、アクティベーションを変更する無条件の介入であり、行動修正のためのトレーディング知識の保持である。
Mixture-of-Experts (MoE) モデルでは、事前の研究により、行動はルーティング決定のみではなく専門家の計算にエンコードされていることが示唆され、正確な行動ステアリングは特に困難である。
本研究では,一致したプロンプトから構築された共通コントラスト信号を導入する。この信号は,MoE階層全体にわたってサイコファンシーが生活している場所を識別し,行動が存在する場所のみに作用する介入を促進する。
我々は、MoEブロック、エキスパート、アテンションブロック、ヘッドの粒度のラグに対する因果探索としてローカライゼーションを定式化し、無条件の減算を2つの条件付き代替品と比較する。
我々は、一般的な知識と推論ベンチマークとともに、薬効を測定する3つのMoEモデルについて評価した。
コンディショナル介入は, 信念誘発性梅毒の90%以上を除去した。
以上の結果から, サイコファンシーは同定可能な計算サブ回路内に存在し, 良好な除去保持トレードオフを維持しつつ選択的に操舵可能であることが示唆された。
関連論文リスト
- Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning [109.33717747526583]
大規模言語モデルは、計算コストが高くても意味論的に無効な推論を、能力を超えたタスクで生成する。
textbfCaRL(textbfCapability-textbfaligned textbfReinforcement textbfL)を導入し、振る舞いを機能境界に合わせる。
実験は、タスクの難易度を超えて性能を保ちながら、無駄な推論を大幅に削減することを示した。
論文 参考訳（メタデータ） (2026-07-31T09:30:33Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - It's Not Always Sycophancy: Measuring LLM Conformity as a Function of Epistemic Uncertainty [12.166175637413637]
大規模言語モデル(LLM)は,ユーザからのフィードバックに適合する最初の姿勢を放棄することを示す。
我々は,共同で適合を駆動する2つの要因を特徴づける: 空想的適合性と不確実性駆動的適合性。
MUSEは、アライメントによって引き起こされるシコファンシーとトレーニングコーパスによって引き起こされる不確実性を区別することで、より標的となる介入戦略を通知する。
論文 参考訳（メタデータ） (2026-05-26T17:04:11Z) - Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。
トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
論文 参考訳（メタデータ） (2026-04-22T12:45:51Z) - SWAY: A Counterfactual Computational Linguistic Approach to Measuring and Mitigating Sycophancy [1.4732811715354452]
SWAY (英語: SWAY) は、サイコフィナンシーの教師なしの計算言語尺度である。
我々は,モデルが肯定的あるいは否定的な言語的圧力の下でどの程度の合意が変化するかを特定するための反実的促進機構を開発する。
逆の仮定が提案された場合、その答えがどのようなものかを考えるために、反実的緩和戦略をモデルに導入する。
論文 参考訳（メタデータ） (2026-04-02T18:00:14Z) - On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。
我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。
本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
論文 参考訳（メタデータ） (2026-01-29T17:48:56Z) - Sycophantic Anchors: Localizing and Quantifying User Agreement in Reasoning Models [0.0]
推論モデルは間違ったユーザ提案によく一致する。
Emphsycophantic anchors -- モデルをユーザ合意に因果的にロックする文を導入します。
アンカーを確実に検出・定量化できることを示す。
論文 参考訳（メタデータ） (2026-01-29T02:34:16Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳（メタデータ） (2026-01-22T07:16:26Z) - Representation-Aware Unlearning via Activation Signatures: From Suppression to Knowledge-Signature Erasure [2.0017902634527194]
本稿では,真の消去と難読化を区別する表現対応アーキテクチャであるKnowledge Immunization Framework(KIF)を紹介する。
提案手法は,主観的表現の動的抑制とパラメータ効率の適応を組み合わせ,完全モデル再学習を伴わない耐久性のある未学習を実現する。
論文 参考訳（メタデータ） (2026-01-15T16:28:14Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。
SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文 参考訳（メタデータ） (2025-09-20T17:09:14Z) - COSMIC: Generalized Refusal Direction Identification in LLM Activations [43.30637889861949]
本稿では,方向選択のための自動フレームワークであるbfCOSMIC(Cosine similarity Metrics for Inversion of Concepts)を紹介する。
モデル出力から完全に独立しているコサイン類似性を使用して、実行可能なステアリング方向とターゲット層を特定する。
敵対的な設定や弱い整列モデルにおける拒絶方向を確実に識別し、偽の拒絶を最小限に抑えつつ、より安全な行動に向けてそのようなモデルを操ることが可能である。
論文 参考訳（メタデータ） (2025-05-30T04:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。