論文の概要: RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing
- arxiv url: http://arxiv.org/abs/2610.11775v1
- Date: Thu, 08 Oct 2026 11:55:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.99659
- Title: RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing
- Title（参考訳）: RouterInterp: エキスパートの混在を前提としたスペシャライゼーション
- Abstract要約: MoEモデルの性能に関する主要な仮説は、各専門家が単一のコヒーレントなドメインを専門とすることである。
そこで我々は,SSH(Superposed Specialisation hypothesis)と呼ばれる,広義のドメインではなく,細粒度の特徴の結合を専門とする専門家による代替的説明の根拠を提案し,提示する。
本稿では,Sparse Autoencoderを識別する専門家のルーティングを解釈するルータInterpについて紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse Mixture of Experts (MoE) models scale more efficiently than dense models by routing tokens to modular expert networks that are only active for processing a fraction of tokens. A leading hypothesis for the performance of MoE models is that each expert specialises in a single, coherent domain. However, interpretability efforts that assume this hypothesis have generally been unsuccessful. We propose and present evidence for an alternative account that we call the Superposed Specialisation Hypothesis (SSH): experts specialise in a disjoint union of fine-grained features rather than one broad domain. Leveraging the SSH, we introduce RouterInterp, a method for interpreting expert routing that identifies Sparse Autoencoder features most predictive of routing decisions and produces unified natural language explanations. On gpt-oss-20b, RouterInterp explains expert routing with ${\sim}65\%$ higher detection accuracy than prior token statistics based methods. This work provides a scalable method for generating more accurate explanations of expert routing and increases our understanding of a previously uninterpretable component of foundation models.
- Abstract（参考訳）: Sparse Mixture of Experts (MoE)モデルは、少数のトークンを処理するためにのみアクティブなモジュラーエキスパートネットワークにトークンをルーティングすることで、高密度モデルよりも効率的にスケールする。
MoEモデルの性能に関する主要な仮説は、各専門家が単一のコヒーレントなドメインを専門とすることである。
しかし、この仮説を仮定する解釈可能性の努力は概して失敗に終わった。
そこで我々は,SSH(Superposed Specialisation hypothesis)と呼ばれる,広義のドメインではなく,細粒度の特徴の結合を専門とする専門家による代替的説明の根拠を提案し,提示する。
SSHを応用して、Sparse Autoencoderを識別する専門家のルーティングを解釈するルータInterpを導入し、ルーティング決定を最も予測し、統一された自然言語説明を生成する。
gpt-oss-20bでは、ReuterInterpが、${\sim}65\%$によるエキスパートルーティングを、以前のトークン統計ベースのメソッドよりも高い検出精度で説明している。
この作業は、エキスパートルーティングのより正確な説明を生成するためのスケーラブルな方法を提供し、基礎モデルの以前は解釈不能なコンポーネントに対する理解を深めます。
関連論文リスト
- MoRA: MoE Pruning via Router Bias Learning and Expert Approximation [40.52010351312256]
Mixture-of-Experts (MoE)モデルはトークンごとに少数の専門家のみをアクティベートすることで、トークン当たりの限られた計算でパラメータスケーリングを可能にする。
我々は、構造化されたMoEエキスパートプルーニングのためのフレームワークであるMoRA(Reuter Bias Learning and Expert Approximation)を提案する。
論文 参考訳（メタデータ） (2026-09-30T06:38:43Z) - Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。
我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。
トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
論文 参考訳（メタデータ） (2026-08-11T02:40:58Z) - ProbMoE: Differentiable Probabilistic Routing for Mixture-of-Experts [32.864092506780004]
Mixture-of-Experts (MoE)モデルはトークンごとに少数の専門家を活性化することでスケールする。
本稿では,確率的ルーティングフレームワークProbMoEを紹介する。
論文 参考訳（メタデータ） (2026-06-01T00:16:36Z) - MoE Routing Testbed: Studying Expert Specialization and Routing Behavior at Small Scale [12.078286327859425]
そこで我々は,ルーティングダイナミックスを小規模でより鮮明に可視化する,MoE Routing Testbedを提案する。
テストベッドは、理想的なルーティングを規定する参照ルータと、明確に区別可能なドメインとデータミキシングをペアリングする。
高い専門家の活用を維持しつつ、専門化を実現する上で、バランスの取れたスコープが重要な要素であることを示します。
論文 参考訳（メタデータ） (2026-04-08T12:47:57Z) - DirMoE: Dirichlet-routed Mixture of Experts [26.759827562919725]
Mixture-of-Experts (MoE)モデルは大規模言語モデルでは例外的な性能を示した。
既存のルータは、通常、微分不可能なTop-$k$+Softmaxに依存し、パフォーマンスとスケーラビリティを制限している。
ディリクレ変分オートエンコーダフレームワーク上に構築された,新しいエンドツーエンドの微分可能なルーティング機構であるDirichlet-Routed MoEを紹介する。
論文 参考訳（メタデータ） (2026-02-09T18:45:43Z) - SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。
プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。
また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
論文 参考訳（メタデータ） (2026-02-02T11:47:06Z) - RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging [69.2230254959204]
我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。
我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。
属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
論文 参考訳（メタデータ） (2025-08-03T14:51:58Z) - Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。
近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。
本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
論文 参考訳（メタデータ） (2025-04-29T11:06:03Z) - Glider: Global and Local Instruction-Driven Expert Router [83.785832410832]
モデルMoErging」手法は、保持タスクのパフォーマンスを犠牲にして、未確認タスクへの一般化を優先する。
マルチスケールルーティング機構を統合したGLIDER(Global and Local Instruction Driven Expert Router)を提案する。
GLIDERは、ホールドアウトタスクの強い一般化を維持しながら、ホールドイン性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-10-09T17:59:14Z) - Soft Merging of Experts with Adaptive Routing [38.962451264172856]
適応ルーティングによるエキスパートのソフトマージ(SMEAR)について紹介する
SMEARは、専門家のパラメータの重み付け平均を通して構築された単一の「マージされた」専門家を使用することで、離散的なルーティングを避ける。
我々は,メタデータに基づいた経路モデルや,勾配推定によるスパースルーティングを学習するSMEARモデルを用いたモデルの有効性を実証的に検証した。
論文 参考訳（メタデータ） (2023-06-06T15:04:31Z) - On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。
入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。
しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
論文 参考訳（メタデータ） (2022-04-20T01:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。