論文の概要: Routing Divergence Is Not Evidence of Behavioral Influence in Same-Weight MoE Self-Distillation

• arxiv url: http://arxiv.org/abs/2608.15787v1
• Date: Sun, 16 Aug 2026 15:07:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.423578
• Title: Routing Divergence Is Not Evidence of Behavioral Influence in Same-Weight MoE Self-Distillation
• Title（参考訳）: 同一重量MoE自己蒸留におけるルーティングの多様性は行動の影響の証拠ではない
• Abstract要約: 2つのMixture-of-Experts(MoE)フォワードは、すべてのウェイトを共有できるが、異なる専門家を通して同じトークンをルーティングすることができる。 我々は、このミスマッチを、完全なトレーニング軌道のプロキシとしてではなく、凍った重量でシングルステップで研究する。
• 参考スコア（独自算出の注目度）: 7.901904409617788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two Mixture-of-Experts (MoE) forward passes can share every weight yet route the same token through different experts. This creates a possible blind spot in same-weight self-distillation, where a demonstration-conditioned teacher supervises a query-only student. We study this mismatch in its single-step form, with frozen weights rather than as a proxy for a full training trajectory. An exact blockwise decomposition separates a routing term, which changes gates at fixed content, from a dense-like content term. Across seven open-weight checkpoints and two domains, the routing term spans only $1.6\times$ as a fraction of block output, while its residual-stream exposure spans $3.2\times$. Exposure is ordered by the routed block's share of the residual. Scaling the always-on backbone in two confirmatory models moves exposure monotonically; common-mode controls support a mass-and-coherence mechanism rather than denominator dilution alone. Preregistered PubMedQA patches on three models show that the full routing term moves outputs by less than half the natural context effect and is largely reproduced by matched-norm noise, whereas the content term is strongly direction-specific. Scale and merged-expert probes show that the narrow block-level range is not universal, although exposure remains small at the tested boundaries. Router movement alone is therefore not evidence of behavioral influence: measure exposure first, and use a behavioral intervention when the decision matters.
• Abstract（参考訳）: 2つのMixture-of-Experts(MoE)フォワードは、すべてのウェイトを共有できるが、異なる専門家を通して同じトークンをルーティングすることができる。 これは、デモ条件の教師がクエリのみの生徒を監督する、同級自己蒸留における盲点となる可能性がある。 我々は、このミスマッチを、完全なトレーニング軌道のプロキシとしてではなく、凍った重量でシングルステップで研究する。 正確なブロックワイズ分解は、固定内容のゲートを変更するルーティング項を、密度の高いコンテンツ項から分離する。 7つのオープンウェイトチェックポイントと2つのドメインにまたがって、ルーティングの期間はブロック出力の分数として1.6\times$、残ストリーム露光は3.2\times$である。 露光は、経路ブロックの残余のシェアによって発注される。 2つの確認モデルにおける常時オンバックボーンのスケーリングは、露光を単調に移動させる; 共通モード制御は、分母希釈のみでなく、質量とコヒーレンス機構をサポートする。 3つのモデルのPubMedQAパッチは、完全なルーティング項が自然な文脈効果の半分以下で出力を移動し、マッチしたノームノイズによって主に再生されることを示している。 スケールとマージ・エキスパート・プローブは、狭いブロックレベルの範囲は普遍的ではないが、試験された境界では露出が小さいことを示している。 したがって、ルータ運動だけでは行動の影響の証拠ではない:まず露光を測定し、決定が重要なときに行動介入を使用する。

関連論文リスト

• THESIS-MoE: Trainable Hierarchical Extraction and SteerIng of Sycophancy in Mixture-of-Experts [0.300988853836121]
  言語モデルがユーザの信念に合うように回答を変更する傾向にあるシコファシー(Sycophancy)は、一般的なアライメント障害である。 我々は、薬局がどこに住んでいるかを識別する、一致したプロンプトから構築された、共有されたコントラスト信号を導入する。 以上の結果から, サイコファンシーは同定可能な計算サブ回路内に存在し, 選択的に操舵できることが示された。
  論文  参考訳（メタデータ） (2026-08-16T11:30:26Z)
• Orientation, not magnitude: the causal structure of task-vector interference in merged language models [0.0]
  タスク算術はそうでなければ機能し、フィールドはマグニチュードで原因を診断する。 層状フラックスの正確な分解は、既存の断続輸送の増幅によって支配されていることを示している。 ナイーブのbfloat16生成の「ユニバーサリティ」は、量子化粗さであることが判明した。
  論文  参考訳（メタデータ） (2026-08-12T08:40:24Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
  アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。 制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。 GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
  論文  参考訳（メタデータ） (2026-06-18T08:43:33Z)
• When Does Routing Become Interpretable? Causal Probes on Block Attention Residuals [0.0]
  Block Attention Residuals (Block AttnRes) は、固定された加法残基を以前の深度ソース表現よりも学習されたソフトマックスで置き換える。 このような露出が機械的解釈に十分かどうかを問う。
  論文  参考訳（メタデータ） (2026-06-11T10:37:04Z)
• Boundary Mass and the Soft-to-Hard Limit in Mixture-of-Experts [0.0]
  人口レベルでの特異点を2乗損失MOEレグレッションとして検討した。 中心となる物体はウンバウンダリー質量であり、すなわち、上位2つのルータのスコアが小さなマージンで分離される確率である。 ゼロ温度制限は、完全な入力空間ではなく、ルーティングインターフェースの周りの薄い幾何学的層によって制御されることを示す。
  論文  参考訳（メタデータ） (2026-05-04T01:07:21Z)
• Primary-Fine Decoupling for Action Generation in Robotic Imitation [91.2899765310853]
  ロボット操作動作シーケンスにおけるマルチモーダル分布は、模倣学習にとって重要な課題である。 PF-DAG(プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、PF-DAG)を提案する。 PF-DAGは、Adroit、DexArt、MetaWorldベンチマークの56タスクで最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-02-25T08:36:45Z)
• Counterfactual Realizability [52.85109506684737]
  本稿では, 正規化可能性の定義, 分布からサンプルを抽出する能力を導入し, 任意の反事実分布が実現可能であるかどうかを判定する完全アルゴリズムを開発する。 本稿では、因果的公正さと因果的強化学習のモチベーション例を用いて、この新たな反ファクト的データ収集フレームワークの意義を説明する。
  論文  参考訳（メタデータ） (2025-03-14T20:54:27Z)
• Learning a Fast Mixing Exogenous Block MDP using a Single Trajectory [87.62730694973696]
  STEELは、単一軌道から外因性ブロックマルコフ決定過程の制御可能なダイナミクスを学習するための、最初の証明可能なサンプル効率アルゴリズムである。 我々は,STEELが正解であり,サンプル効率が良いことを証明し,STEELを2つの玩具問題で実証した。
  論文  参考訳（メタデータ） (2024-10-03T21:57:21Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)
• Evolution of many-body systems under ancilla quantum measurements [58.720142291102135]
  本研究では,多体格子系をアシラリー自由度に結合させることにより量子測度を実装するという概念について検討する。 従来より抽象的なモデルで見られたように, アンタングリング・エンタングリング測定によって引き起こされる遷移の証拠を見いだす。
  論文  参考訳（メタデータ） (2023-03-13T13:06:40Z)
• StableMoE: Stable Routing Strategy for Mixture of Experts [109.0602120199226]
  Mixture-of-Experts (MoE)技術は、安価な計算オーバーヘッドでトランスフォーマーのモデルサイズをスケールアップすることができる。 本稿では、ルーティング変動問題に対処する2つのトレーニング段階を持つStableMoEを提案する。 その結果,StableMoEは収束速度と性能の両面で既存のMoE法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-18T16:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。