論文の概要: The Router Already Knows

• arxiv url: http://arxiv.org/abs/2610.27421v1
• Date: Tue, 20 Oct 2026 00:17:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.557602
• Title: The Router Already Knows
• Title（参考訳）: ルータはすでに知っている
• Abstract要約: Mixture-of-Experts(MoE)モデルは、トークン毎にスパースな選択をすでに行っています。 スパース辞書がその選択を再利用すべきかどうかを問う。 NR-SAEは各ルートの専門家に小さな辞書を与え、冷凍ルータが選択した辞書のみを開く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-experts (MoE) models already make a sparse choice for every token: which experts should process it. We ask whether a sparse dictionary should reuse that choice. NR-SAE gives each routed expert a small dictionary and opens only those the frozen router selects. At block 15 of Gemma 4 26B-A4B, after ten million C4 training tokens and across three seeds, the expert-aligned autoencoder explains 0.518 of the variance in router-weighted expert outputs on a fixed evaluation capture. A rank-addressed control with the same parameters but sixteen times as many candidates reaches 0.481, a candidate-matched control 0.458, and an architecture-matched control with randomized expert identity 0.387. A transcoder variant also leads all three controls: 0.432, against 0.347, 0.371, and 0.118. Part of this advantage is architectural: each expert writes into a subspace of at most a quarter of the model width, so naming the expert names the subspace. How much it explains, we have not measured. At this layer and budget, the router already knows something a dictionary would otherwise have to learn. Our implementation did not train faster, and semantic interpretability, downstream loss, and causal faithfulness remain untested.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、トークン毎にスパースな選択をすでに行っています。 スパース辞書がその選択を再利用すべきかどうかを問う。 NR-SAEは各ルートの専門家に小さな辞書を与え、冷凍ルータが選択した辞書のみを開く。 Gemma 4 26B-A4Bのブロック15で、1000万のC4トレーニングトークンと3つのシードにまたがった後、専門家によるオートエンコーダは、固定された評価キャプチャでルータ重み付きエキスパート出力のばらつきの0.518を説明した。 同じパラメータを持つランク付き制御では、多くの候補の16倍の確率で0.481、候補マッチング制御0.458、ランダム化された専門家ID0.387のアーキテクチャマッチング制御を行う。 トランスコーダの変種は、0.347、0.371、0.118に対して0.432の3つの制御を導く。 各専門家はモデル幅の少なくとも4分の1のサブスペースに書き込むので、専門家はサブスペースを命名する。 どれだけ説明されているかは、まだわかっていません。 この層と予算では、ルーターはすでに辞書が学ばなければならないことを知っている。 我々の実装は、より速く訓練せず、意味論的解釈可能性、下流の損失、因果的忠実性は未検証のままである。

関連論文リスト

• Sparsity Saves Compute, Not Samples: Oracle Inequalities for Dense and Sparse Mixture of Experts [57.07359479446759]
  Mixture-of-Experts (MoE)モデルは、入力依存のルーティング機構を通じて専門の専門家を結合する。 専門家とゲーティングネットワークの両方がリプシッツである場合、最小二乗MoE推定器の推定誤差について検討する。
  論文  参考訳（メタデータ） (2026-10-10T16:24:04Z)
• MaskCoFT: Masked Co-Adaptive Fine-Tuning for Memory-Efficient MoE Inference [17.718564947470906]
  MaskCoFTは、クロスエントロピー損失だけでルーターとエキスパートを訓練する。 トークン単位のエキスパートフェッチを23.7%、ベースモデルに対して10.1%削減する。 9つのベンチマークの平均精度は、ベースモデルよりも0.92と0.53ポイント高い。
  論文  参考訳（メタデータ） (2026-09-28T01:12:30Z)
• Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models [3.749501286035187]
  再正規化は暗黙的に専門家のアウトプットゲインをトレーニングのトップ$k$に校正することを示す。 再正常化を完全に除去することは破滅的であり、適切な基準質量を維持することが重要であることを示す。
  論文  参考訳（メタデータ） (2026-09-04T00:11:28Z)
• SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology [47.16406021922537]
  本稿では,GLiClassをベースとした軽量ルータであるルータを紹介し,自動生成なしで各推論時間モデルラベルに適合点を割り当てる。 タスク生成には、23のファミリー、115のタスクタイプ、345のルータブルなサブタイプ、1,173の合成例と30のドメインの軸を持つタスク構造を構築する。 次に、これらのタスクでQwen3デコーダをトレーニングし、学習された要求予測を、適格性、コスト、キャッシュ再利用、安全性、主権といった属性に対するタスクごとのポリシーから明確に分離します。
  論文  参考訳（メタデータ） (2026-09-02T08:40:07Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Beyond Routing: Decoupling Expert Dispatch and Aggregation in Sparse Mixture-of-Experts [0.0]
  これら2つの役割,ディスパッチとアグリゲーションが結合されるべきかどうかを検討する。 構造化されたオラクルは、3つの種に対して0.0160 +/- 0.0039 の完全水平交叉エントロピーを改善する。 FDAAは3つの種に対して Delta CE = -0.1523 +/- 0.0031 で WikiText-103 テストを改善する。
  論文  参考訳（メタデータ） (2026-08-09T18:31:16Z)
• When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models [27.942734943134983]
  Mixture-of-Experts (MoE)言語モデルは、各トークンを専門家の小さなサブセットにルーティングする。 検証された推論軌道において,各標準経路を同一のトークンに対してサンプル化された等価な代替手段と比較し,実効トークンに割り当てる次の確率でスコアする。 標準ルータは信頼性の高いトークンではルートユーティリティと整合性があるが、ハード推論を駆動する脆弱なトークンでは非形式的である。
  論文  参考訳（メタデータ） (2026-05-08T05:26:09Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
  CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。 イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
  論文  参考訳（メタデータ） (2025-06-23T02:15:43Z)
• Mixtral of Experts [57.411379935325435]
  Mixtral 8x7Bはスパース・ミックス・オブ・エキスパートズ(SMOE)言語モデルである。 Mixtralは数学、コード生成、多言語ベンチマークでLlama 270Bをはるかに上回っている。 また、GPT-3.5 Turbo、Claude-2.1、Gemini Pro、Llama 2 70Bを超越したMixtral 8x7B - Instructという命令に従うように微調整されたモデルも提供する。
  論文  参考訳（メタデータ） (2024-01-08T18:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。