論文の概要: Routing Drift Alone Does Not Diagnose Failure in Merged MoE LLMs

• arxiv url: http://arxiv.org/abs/2609.32821v1
• Date: Sat, 26 Sep 2026 17:47:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 19:57:52.477395
• Title: Routing Drift Alone Does Not Diagnose Failure in Merged MoE LLMs
• Title（参考訳）: 融解したMoE LLMの故障診断は行わない
• Abstract要約: 本稿では,制御された対策介入とトークンレベルの分析のためのルーティング解析ツールキットを提案する。 我々は、ルーティング障害を特定のルーティング介入の下でリカバリ可能なtextittask損失として運用し、非ルーティングパラメータを固定する。 そこで本研究では,EmphSelective Router repair (SRR) を事例として提案する。
• 参考スコア（独自算出の注目度）: 27.677249330544296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging efficiently combines specialized large language models (LLMs) without joint retraining, but can substantially alter expert routing in Mixture-of-Experts (MoE) models. Such \emph{routing drift} is often interpreted as routing failure, raising a fundamental question that remains unclear: \emph{does routing drift after MoE merging actually indicate routing failure, and what evidence should justify repair?} We investigate these questions across DeepSeekMoE, OLMoE, and Qwen3-MoE proposing a routing analysis toolkit for controlled counterfactual interventions and token-level analysis. By crossing source and merged router inputs and parameters, we attribute most expert reassignments to input shifts rather than parameter changes at the same layer. However, source-relative routing differences poorly predict next-token likelihood gains from source-route restoration, and different expert selections can produce directionally similar mixture outputs. We therefore operationalize routing failure as \textit{task loss recoverable under a specified routing intervention, with non-routing parameters fixed.} These tests detect recoverable loss under deliberate router corruption, whereas source-route restoration does not establish reliable task benefits in the evaluated merged models. Motivated by these, we propose \emph{Selective Router Repair (SRR)} as a case study, and find that source-specialist token-likelihood advantages do not reliably identify beneficial local corrections. Together, these findings show that \textbf{routing drift alone is insufficient evidence of routing failure}: source-informed corrections must be judged by their task-level intervention effects. The analysis toolkit and SRR code are released.
• Abstract（参考訳）: モデルマージは、ジョイントリトレーニングなしで、特別な大規模言語モデル(LLM)を効率的に組み合わせるが、Mixture-of-Experts(MoE)モデルでは、専門家によるルーティングを大幅に変更することができる。 このような 'emph{routing drift} はルーティング障害と解釈されることが多いが、根本的な疑問は依然として不明である: \emph{does routing drift after MoE マージすると、実際にルーティング障害が示され、また、修復を正当化すべき証拠は何か? 筆者らは,これらの疑問をDeepSeekMoE,OLMoE,Qwen3-MoEにまたがって検討し,対策やトークンレベルの分析を行うためのルーティング解析ツールキットを提案する。 ソースを渡り、ルータの入力とパラメータをマージすることにより、ほとんどの専門家が同一層でのパラメータ変化よりも入力シフトを割り当てる。 しかし、ソース相対的なルーティングの違いは、ソースルート復元による次の確率の利得を予測できないため、異なる専門家選択は方向的に類似した混合出力を生成することができる。 したがって、ルーティング障害を特定のルーティング介入の下で復旧可能な \textit{task loss として運用し、非ルーティングパラメータを固定する。 2) これらの試験は, 故意なルータ破損下での回復可能な損失を検知するが, ソースルート復元は, 評価されたマージモデルにおいて信頼性の高いタスクメリットを確立できない。 そこで本研究では,これらを事例として,emph{Selective Router repair (SRR) を提案する。 これらの結果から, ソースインフォームド修正は, タスクレベルの介入効果によって判断されなければならない。 解析ツールキットとSRRコードはリリースされている。

関連論文リスト

• Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE [49.45064510462232]
  Mixture-of-Experts (MoE)アーキテクチャは、視覚生成における拡散モデルをスケールするための強力なパラダイムとして登場した。 シャープモエ(SharpMoE)は,サリエンシハーネスの正確なルーティング機構を備えたポストトレーニングフレームワークである。 ノイズ歪んだ入力をバイパスすることで、SharpMoEはルータに明確なサリエンシガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-06-25T12:13:40Z)
• When Does Routing Become Interpretable? Causal Probes on Block Attention Residuals [0.0]
  Block Attention Residuals (Block AttnRes) は、固定された加法残基を以前の深度ソース表現よりも学習されたソフトマックスで置き換える。 このような露出が機械的解釈に十分かどうかを問う。
  論文  参考訳（メタデータ） (2026-06-11T10:37:04Z)
• From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing [79.19755531338872]
  既存のルーティングメソッドは、クエリに対するモデルの単一応答を、トレーニングの能力ラベルとして扱う。 この仮定はルーティング管理にシステマティックノイズを導入し、学習されたルーティングポリシーの信頼性を低下させることを示す。 本稿では, DARS(Distribution-Aware Routing Supervision)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T05:42:00Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• STAR: Failure-Aware Markovian Routing for Multi-Agent Spatiotemporal Reasoning [13.329339723676147]
  本稿では,現在のエージェント,タスクタイプ,型付き実行状態に対する状態条件付きポリシとして,エージェント間制御を外部化するフェールアウェアルーティングフレームワークSTARを提案する。 障害状態のトレースは異なるため、ルータは不正な出力、依存関係の欠如、ツール-グラウンド抽出-- 計算-デポジットプロトコルに異なる応答をし、中間結果を共有ブラックボードに書き込み、下流融合を行う。 その結果、トレーニング中にトレースが失敗すると、ルーティングポリシのエラー状態のサポートが拡大し、成功のみのトレーニングでは表現できないリカバリ移行が可能になることが証明された。
  論文  参考訳（メタデータ） (2026-05-11T06:34:49Z)
• Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts [32.65737144630759]
  Mixture-of-Experts (MoE)アーキテクチャは、パラメトリックな"router"を使用して、トークンを専門家のまばらなサブセットにディスパッチすることで、大きな言語モデルを効率的にスケールする。 我々は、類似したケースのメモリから最適な専門家の割り当てを再利用する検索強化ルーティングフレームワークであるkNN-MoEを紹介する。 実験の結果、kNN-MoEはゼロショットベースラインよりも優れており、計算コストのかかる微調整に匹敵することがわかった。
  論文  参考訳（メタデータ） (2026-01-05T14:16:11Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。