論文の概要: Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2605.12476v1
• Date: Tue, 12 May 2026 17:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.073856
• Title: Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts
• Title（参考訳）: ルータは専門家の幾何学を学習する:スパースミキサーにおける幾何学的結合
• Authors: Sagi Ahrac, Noya Hochwald, Mor Geva,
• Abstract要約: SMoEの経路決定が機械的にどのように形成されるかを検討する。 スクラッチからトレーニングされた1億ドルのSMoEでは、より高いルータスコアが専門家のニューロンの活性化を予測する。 この結果から、ルータが効率的な分業を支援する代入幾何学をいかに形成するかが説明できる。
• 参考スコア（独自算出の注目度）: 23.123497435269112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Mixture-of-Experts (SMoE) models enable scaling language models efficiently, but training them remains challenging, as routing can collapse onto few experts and auxiliary load-balancing losses can reduce specialization. Motivated by these hurdles, we study how routing decisions in SMoEs are formed mechanistically. First, we reveal a geometric coupling between routers and their corresponding experts. For a given token, the router weights for the selected expert and the expert weights processing it receive gradients along the same input direction, differing only in scalar coefficients. Thus, matched router--expert directions accumulate the same routed token history. This theoretical coupling also appears empirically in routing dynamics. In a $1$B SMoE trained from scratch, higher router scores predict stronger expert neuron activations, showing that routing decisions are mirrored inside the selected expert. Next, we analyze the effects of auxiliary load balancing on the router--expert geometric coupling, showing that such losses break this structure by spreading input-directed gradients across router weights, making distinct router directions nearly three times more similar to each other. Last, we demonstrate the centrality of geometric coupling for effective routing with a parameter-free online K-Means router, in which each expert maintains a running average of the hidden states routed to it and tokens are assigned based on cosine similarity. Compared with auxiliary-loss and loss-free balancing, this router achieves the lowest load imbalance with only a modest perplexity increase, indicating that geometric coupling captures a substantial part of what the router learns. Overall, our results explain how routers form assignment geometry that supports an effective division of labor.
• Abstract（参考訳）: SMOE(Sparse Mixture-of-Experts)モデルでは,言語モデルのスケーリングを効率的に行うことができる。 これらのハードルにより、SMoEの経路決定が機械的にどのように形成されるかを研究する。 まず、ルータとそれに対応する専門家との幾何学的結合を明らかにする。 与えられたトークンに対して、選択した専門家に対するルータの重みとそれを処理する専門家の重みは同じ入力方向に沿って勾配を受け取り、スカラー係数だけが異なる。 このように、一致したルータ-専門家方向は同じ経路付きトークン履歴を蓄積する。この理論結合は、ルーティングダイナミクスにも実証的に現れる。スクラッチから訓練された1ドルBのSMoEでは、より高いルータスコアがより強力な専門家ニューロンの活性化を予測し、ルーティング決定が選択した専門家の内部でミラー化されていることを示す。次に、ルータ-専門家間の幾何学的結合に対する補助負荷分散の影響を分析し、そのような損失がルータ重みに入力指向勾配を広げてこの構造を破壊し、異なるルータ方向が互いにほぼ3倍近く類似していることを示す。 最後に、パラメータフリーなオンラインK-Meansルータによる効果的なルーティングのための幾何結合の集中性を示す。 補助損失と損失のないバランスと比較して、このルータは低負荷不均衡をわずかに複雑度の増加で達成し、幾何学的結合がルータが学習する部分のかなりの部分を捉えていることを示す。 全体としては、ルータが効率的な分業をサポートする割り当て幾何を形成するかを説明する。

関連論文リスト

• Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
  Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。 最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。 ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
  論文  参考訳（メタデータ） (2026-05-06T14:15:10Z)
• Self-Routing: Parameter-Free Expert Routing from Hidden States [14.018297453424454]
  Mixture-of-Experts (MoE)レイヤは、トークンごとに専門家の小さなサブセットをアクティベートすることで、モデルのキャパシティを向上する。 本稿では,トークン隠蔽状態の指定された部分空間を専門家のロジットとして直接使用するパラメータフリーなルーティング機構であるSelf-Routingを提案する。
  論文  参考訳（メタデータ） (2026-04-01T03:05:20Z)
• ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning [85.39146836671897]
  低ランクアダプタ(LoRAs)は、トレーニング可能な低ランク行列をトレーニング済みモデルに注入し、新しいタスクに適応するパラメータ効率の微調整技術である。 既存のMixture-of-LoRAsルータは学習したルーティングウェイトを各LoRAに割り当て、ルータのエンドツーエンドのトレーニングを可能にする。 Reinforcement Routing for Mixture-of-LoRAs (ReMix) と呼ばれる新しいルータを提案する。
  論文  参考訳（メタデータ） (2026-03-10T18:51:27Z)
• L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts [49.90176890917986]
  ルーティング空間とスコアリング幾何の両方を共用する統一的なルーティングフレームワークであるL2Rを提案する。 L2Rは、共有低ランク遅延ルーティング空間で専門家の割り当てを行い、ルーティング関数のリプシッツ挙動を明示的に制御するために飽和内積スコーリング(SIPS)を導入している。 大規模言語MoEモデルとImageNet上のビジョンMoE設定の実験では、L2Rはルーティングの安定性、専門家の専門化、モデル全体のパフォーマンスを一貫して改善している。
  論文  参考訳（メタデータ） (2026-01-29T07:18:33Z)
• Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts [32.65737144630759]
  Mixture-of-Experts (MoE)アーキテクチャは、パラメトリックな"router"を使用して、トークンを専門家のまばらなサブセットにディスパッチすることで、大きな言語モデルを効率的にスケールする。 我々は、類似したケースのメモリから最適な専門家の割り当てを再利用する検索強化ルーティングフレームワークであるkNN-MoEを紹介する。 実験の結果、kNN-MoEはゼロショットベースラインよりも優れており、計算コストのかかる微調整に匹敵することがわかった。
  論文  参考訳（メタデータ） (2026-01-05T14:16:11Z)
• AgentRouter: A Knowledge-Graph-Guided LLM Router for Collaborative Multi-Agent Question Answering [51.07491603393163]
  tAgentは知識グラフ誘導ルーティング問題としてマルチエージェントQAを定式化するフレームワークである。 エージェントアウトプットのソフトな監督と重み付けされた集約を活用することで、エージェントは多様なエージェントの相補的な強みを捉える、原則化された協調スキームを学ぶ。
  論文  参考訳（メタデータ） (2025-10-06T23:20:49Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• Load Balancing Mixture of Experts with Similarity Preserving Routers [30.279616888339543]
  Sparse Mixture of Experts (MoE)モデルは、大規模なニューラルネットワークをトレーニングするためのスケーラブルで効率的なアーキテクチャを提供する。 トークン単位のリレーショナル構造を保持する新しいロードバランシング損失を導入する。 その結果, ルータの損失は36%, 収束速度は36%向上し, 冗長性が低下することがわかった。
  論文  参考訳（メタデータ） (2025-06-16T22:22:59Z)
• HyperRouter: Towards Efficient Training and Inference of Sparse Mixture of Experts [34.08858035082419]
  この研究はHyperRoutを導入し、固定されたハイパーネットワークとトレーニング可能な埋め込みを通じてルータのパラメータを動的に生成する。 幅広いタスクにわたる実験は、HyperRoutの優れたパフォーマンスと効率性を示す。
  論文  参考訳（メタデータ） (2023-12-12T07:40:23Z)
• Towards Bi-directional Skip Connections in Encoder-Decoder Architectures and Beyond [95.46272735589648]
  本稿では,デコードされた機能をエンコーダに戻すための後方スキップ接続を提案する。 我々の設計は、任意のエンコーダ・デコーダアーキテクチャにおいて前方スキップ接続と共同で適用することができる。 本稿では,2相ニューラルネットワーク探索(NAS)アルゴリズム,すなわちBiX-NASを提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。