論文の概要: RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

• arxiv url: http://arxiv.org/abs/2608.21236v1
• Date: Fri, 21 Aug 2026 15:45:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.62944
• Title: RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models
• Title（参考訳）: RARE:Mixture-of-Experts言語モデルのエキスパートルーティングから表現ステアリングを分離する
• Abstract要約: 本稿では,MoE言語モデルのためのルータに依存しない表現工学フレームワークを提案する。 RAREは任意の挙動摂動をルータ行列のヌル空間に投影し、ルータ可視成分を除去する。 有害なステアリングでは、RAREは平均攻撃成功率53.3%に達し、67.8%のMMLU精度を維持している。
• 参考スコア（独自算出の注目度）: 13.298401993417611
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation engineering offers a lightweight means of controlling language-model behavior by modifying intermediate hidden states, but its direct application to Mixture-of-Experts (MoE) models introduces a structural mismatch. We first verify this failure mode through a series of empirical studies and find that preserving clean routing substantially recovers steering performance and that routing is more sensitive to semantic content than to behavioral changes under controlled content. Motivated by these findings, we introduce RARE, a router-agnostic representation engineering framework for MoE language models. RARE projects arbitrary behavioral perturbations onto the null space of the router matrix, thereby removing router-visible components, and further corrects routing drift propagated to selected downstream layers. To decide the best perturbation estimator in this framework, we evaluate five estimators on six heterogeneous open-weight MoE models across three steering scenarios: harmfulness, truthfulness, and factual editing. On harmfulness steering, RARE reaches an average attack success rate of 53.3% while retaining 67.8% MMLU accuracy, yielding a stronger aggregate effectiveness--utility trade-off than baselines. It further improves average TruthfulQA MC1 accuracy from 41.0% to 58.6% and CounterFact efficacy from 16.8% to 96.3%. These results support routing consistency as an important architectural consideration for adapting representation engineering to MoE models.
• Abstract（参考訳）: Representation Engineeringは、中間隠れ状態を変更することで言語モデル動作を制御する軽量な手段を提供するが、Mixture-of-Experts(MoE)モデルへの直接的な適用は構造的ミスマッチを導入する。 まず、一連の実証研究を通して、この障害モードを検証し、クリーンなルーティングを保存することで、ステアリング性能が大幅に回復し、ルーティングが制御されたコンテンツの下での動作変化よりもセマンティックなコンテンツに敏感であることを確認する。 これらの知見に触発されたRAREは,MoE言語モデルのためのルータに依存しない表現工学フレームワークである。 RAREは、ルータ行列のヌル空間に任意の振舞いを投影し、ルータ可視成分を除去し、選択された下流層に伝搬するルーティングドリフトを補正する。 本フレームワークで最高の摂動推定器を決定するために, 有害性, 真実性, 事実編集の3つのシナリオにまたがる6つの異種オープンウェイトMOEモデル上での5つの推定器の評価を行った。 有害なステアリングでは、RAREは平均攻撃成功率53.3%に達し、67.8%のMMLU精度を維持し、ベースラインよりも強力な集合的有効性-ユーティリティトレードオフをもたらす。 さらに、TruthfulQA MC1の精度を41.0%から58.6%に、CounterFactの有効性を16.8%から96.3%に改善する。 これらの結果は、MoEモデルに表現工学を適用する上で重要なアーキテクチャ上の考慮事項として、ルーティング整合性をサポートする。

関連論文リスト

• AutoCRAT: Within-trajectory Joint Control of Stochasticity and Compute for LLM Reasoning [10.408251801653723]
  大規模言語モデル(LLM)は、時間決定に大きく依存する強力な推論性能を達成する。 最近の適応的手法はこの制限に部分的に対処するが、主に推奨の復号性(モデルがどのように探索するか)や計算の推論(モデル理由の期間)を分離して適用する。 軌道内ジョイントコントロールビューを導入し,AutoCRATでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-30T19:24:58Z)
• Grounding latent algorithm routing in transformer reasoning [2.3977651066739374]
  インダクティブバイアスの異なる家族を対象としたエピソードレベルの適応を,トランスフォーマーが構成できるかどうかを検討した。 ROUTEBENCHは,大域的縮小,疎度,頑健性,局所性を重視した診断ベンチマークである。 44M-612Mパラメータでスクラッチからトレーニングされた高密度デコーダのみのトランスフォーマーでは、306Mモデルがオラクルルーティングギャップの80.9%を閉じ、84.1のルートF1を達成する。
  論文  参考訳（メタデータ） (2026-07-27T14:07:12Z)
• Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
  本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。 我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。 我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
  論文  参考訳（メタデータ） (2026-06-18T20:51:42Z)
• RouteHijack: Routing-Aware Attack on Mixture-of-Experts LLMs [9.24144060095413]
  RouteHijackは、大規模言語モデル(LLM)のためのルーティング対応のジェイルブレイクである。 RouteHijackは、安全クリティカルで有害な専門家を特定するために、応答駆動のエキスパートローカライゼーションを実行する。 次に、安全の専門家を抑圧し、有害な専門家を奨励し、早期の拒絶を防ぐルーティング対応の目的で、敵の接尾辞を構築する。
  論文  参考訳（メタデータ） (2026-05-01T11:54:55Z)
• MASCing: Configurable Mixture-of-Experts Behavior via Activation Steering Masks [12.70638634576904]
  我々は、様々な安全シナリオにおけるMoEの振る舞いを、再トレーニングなしで柔軟に再構成できるフレームワークMASCingを提案する。 MASCingはLSTMベースのサロゲートモデルを使用して、層間ルーティングの依存関係をキャプチャし、ルーティングログを下流の動作にマップする。 次に、ステアリング行列を最適化し、行動関連の専門家回路を特定し、ルーティングゲートにステアリングマスクを適用して専門家の選択をオーバーライドする。
  論文  参考訳（メタデータ） (2026-04-30T12:58:57Z)
• OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
  現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。 我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。 本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-03-10T14:16:43Z)
• ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
  本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。 我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
  論文  参考訳（メタデータ） (2026-02-06T23:27:17Z)
• Internalizing LLM Reasoning via Discovery and Replay of Latent Actions [4.830503861275364]
  連鎖プロセスの隠れ状態への内部化は、テスト時間計算をスケールするための非常に効率的なパラダイムとして現れている。 動的潜在軌道制御問題として推論強化を再構築するSTIR(Self-Distilled Tools for Internal Reasoning)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T08:44:57Z)
• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• GRIN: GRadient-INformed MoE [132.87651078514122]
  Mixture-of-Experts (MoE)モデルは、エキスパートルーティングによるスパース計算により、密度の高いモデルよりも効果的にスケールする。 エキスパートルーティングのためのスパース勾配推定を組み込んだGRIN(GRadient-Informed MoE Training)を導入する。 我々のモデルは6.6Bの活性化パラメータしか持たないが、7Bの密度モデルより優れており、同じデータで訓練された14Bの密度モデルの性能と一致している。
  論文  参考訳（メタデータ） (2024-09-18T17:00:20Z)
• Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
  本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。