論文の概要: Equifinality in Mixture of Experts: Routing Topology Does Not Determine Language Modeling Quality

• arxiv url: http://arxiv.org/abs/2604.14419v1
• Date: Wed, 15 Apr 2026 21:02:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.607201
• Title: Equifinality in Mixture of Experts: Routing Topology Does Not Determine Language Modeling Quality
• Title（参考訳）: エキスパートの混在における平等性: ルーティングトポロジは言語モデリングの品質を決定しない
• Authors: Ivan Ternovtsii, Yurii Bilak,
• Abstract要約: 学習したセントロイドに対するコサイン類似性ルーティングを用いたスパース・ミックス・オブ・エクササイズ(MoE)アーキテクチャを構築した。 ルーティングトポロジがパープレキシティ(PPL)を決定できないことが分かりました。 トポロジレベルの等質性と共存するエキスパートレベルと因果制御性について、共用論文で検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse Mixture-of-Experts (MoE) architectures employ increasingly sophisticated routing mechanisms -- learned routers, multi-hop trajectories, token-dependent gating. We ask: does routing topology actually determine language modeling quality? We build a geometric MoE (ST-MoE) using cosine-similarity routing against learned centroids in a low-dimensional space ($d_{space} = 64$), requiring 80% fewer routing parameters than standard linear routers. Through 62 controlled experiments on WikiText-103 at 76--84M parameters trained to convergence (50K steps, 1.64B tokens), we find that routing topology does not determine asymptotic perplexity (PPL): five cosine-routing variants are statistically equivalent within a 1-PPL margin (Two One-Sided Tests [TOST], $p < 0.05$ for all 10 pairwise comparisons; 15 runs across 3 seeds, observed range 33.93--34.72). The finding extends to hash, random-fixed, and top-1 routing (single-seed; graceful 1.1--2.2 PPL degradation) and replicates on OpenWebText (0.03 PPL gap, 6 runs, 3 seeds each). A standard linear router with 5.3$\times$ more routing parameters reaches PPL 32.76, but iso-parameter cosine routing closes 67% of this gap -- the true mechanism advantage is $\sim$1.2%. The mechanistic explanation is convergent redundancy: multi-hop updates are collinear ($\cos(Δh_0, Δh_1) = 0.805$), implementing magnitude amplification rather than compositional reasoning; a single learnable scalar replicates multi-hop performance. As a practical payoff, zero-shot relative-norm halting saves 25% of MoE FLOPs at +0.12% PPL. Expert-level specialization and causal controllability -- which coexist with topology-level equifinality -- are explored in a companion paper.
• Abstract（参考訳）: Sparse Mixture-of-Experts (MoE)アーキテクチャでは、学習ルータ、マルチホップトラジェクトリ、トークン依存ゲーティングといった高度なルーティングメカニズムが採用されている。 ルーティングトポロジは実際に言語モデリングの品質を決定するのか? 低次元空間(d_{space} = 64$)における学習セントロイドに対するコサイン類似性ルーティングを用いた幾何学的MoE(ST-MoE)を構築し,通常の線形ルータよりも80%少ないルーティングパラメータを必要とする。 WikiText-103の76-84Mパラメータ(50Kステップ、1.64Bトークン)における62の制御実験を通して、ルーティングトポロジは漸近パープレキシティ(PPL)を決定できないことがわかった。 この発見はハッシュ、ランダム固定、トップ1ルーティング(単一シード、優雅な1.1--2.2 PPL分解)にまで拡張され、OpenWebText(0.03 PPLギャップ、6ラン、3シード)で複製される。 5.3$\times$以上のルーティングパラメータを持つ標準的な線形ルータはPPL 32.76に達するが、Iso-parameter cosineルーティングはこのギャップの67%を閉じる(真のメカニズムの利点は$\sim$1.2%である)。 マルチホップ更新はコリナー($\cos(Δh_0, Δh_1) = 0.805$)であり、構成的推論よりも大域増幅を実装している。 実用的なペイオフとして、ゼロショットの相対ノルム停止はMoE FLOPの25%を+0.12% PPLで節約する。 トポロジレベルの等質性と共存する専門家レベルの特殊化と因果制御性について,共用論文で検討した。

関連論文リスト

• Regime-Conditional Retrieval: Theory and a Transferable Router for Two-Hop QA [0.0]
  2ホップQA検索クエリは、ホップ2エンティティが質問(Q-dominant)で明示的に命名されているか、ブリッジ通路(B-dominant)でのみ命名されているかによって決定される2つのレジームに分けられる。 この分割を3つの定理で定式化する。 この理論に基づいて,質問のみと質問余剰関係文検索を選択可能な軽量バイナリルータを提案する。
  論文  参考訳（メタデータ） (2026-04-10T06:31:51Z)
• Coupled Query-Key Dynamics for Attention [6.775853253396773]
  スコア付けする前に、共有された学習力学を通して進化するクエリとキーを瞬時に示す。 60MパラメータのWikiText-103では、結合力学は22.55--22.62パープレキシティ(英語版)と24.22のパープレキシティ(英語版)を達成する。
  論文  参考訳（メタデータ） (2026-04-02T06:37:05Z)
• KALAVAI: Predicting When Independent Specialist Fusion Works -- A Quantitative Model for Post-Hoc Cooperative LLM Training [3.151184728006369]
  独立した訓練を受けたドメインスペシャリストは、個々のスペシャリストを上回るパフォーマンスを持つ単一のモデルに、ポストホックに融合することができる。 KALAVAIプロトコルでは、コントリビュータが個別に共有チェックポイントの微調整を行い、軽量なMoEルーティング(500ステップ)を提出する。
  論文  参考訳（メタデータ） (2026-03-24T03:32:04Z)
• Directional Routing in Transformers [0.0]
  指向性ルーティングは、共有ルータによって制御される各トランスフォーマーアテンションヘッド学習抑制方向を提供する軽量なメカニズムである。 結果の回路を機械的解釈可能性によってトレースする。 ルーティングは、ベースラインに対するパープレキシティを31～56%削減するが、下流の多重選択ベンチマークはまだこれらの利得を反映していない。
  論文  参考訳（メタデータ） (2026-03-16T07:28:22Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Retrosynthetic Planning with Dual Value Networks [107.97218669277913]
  我々は、PDVN(Planning with Dual Value Networks)と呼ばれる新しいオンライントレーニングアルゴリズムを提案する。 PDVNは計画段階と更新段階を交互に行い、分子の合成性とコストを予測する。 広く使われているUSPTOデータセットでは、PDVNアルゴリズムが既存のマルチステッププランナの探索成功率を改善する。
  論文  参考訳（メタデータ） (2023-01-31T16:43:53Z)
• Learning to Generate Content-Aware Dynamic Detectors [62.74209921174237]
  サンプル適応型モデルアーキテクチャを自動的に生成する効率的な検出器の設計を新たに導入する。 動的ルーティングの学習を導くために、オブジェクト検出に適したコースツーファインの成層図を紹介します。 MS-COCOデータセットの実験により、CADDetはバニラルーティングに比べて10%少ないFLOPで1.8以上のmAPを達成することが示された。
  論文  参考訳（メタデータ） (2020-12-08T08:05:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。