論文の概要: STAR: Rethinking MoE Routing as Structure-Aware Subspace Learning

• arxiv url: http://arxiv.org/abs/2606.08814v1
• Date: Sun, 07 Jun 2026 20:07:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.46596
• Title: STAR: Rethinking MoE Routing as Structure-Aware Subspace Learning
• Title（参考訳）: STAR:MoEルーティングを構造認識サブスペース学習として再考
• Authors: Sumin Park, Noseong Park,
• Abstract要約: Mixture-of-Experts (MoE)は、専門家の特別なサブセットに入力を選択的にルーティングすることで、モデルのキャパシティを効率的にスケールする。 一般化ヘビアンアルゴリズム(GHA)による支配的な入力構造を追跡する進化的主部分空間で、標準学習可能なルーティングを増強することにより、MoEルーティングをサブスペース学習問題として再考する構造アウェアルーティングであるSTARを提案する。 制御された合成セットアップと大規模言語および視覚タスクに基づいてSTARを評価し、強力なMoEベースラインよりもルーティング品質と下流性能を継続的に向上する。
• 参考スコア（独自算出の注目度）: 30.125087273625123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) scales model capacity efficiently by selectively routing inputs to a specialized subset of experts. However, input-expert specialization, the core motivation of MoE, critically depends on whether the router is actually aware of input structure. In practice, MoE routing is typically implemented as a shallow linear projection with limited awareness of input representation, which often leads to unstable routing. We propose STAR, a Structure Aware Routing that rethinks MoE routing as a subspace learning problem by augmenting standard learnable routing with an evolving principal subspace that tracks dominant input structure via Generalized Hebbian Algorithm (GHA). By aligning routing decisions directly with input structure, STAR enables stable expert specialization. We evaluate STAR on controlled synthetic setup and large-scale language and vision tasks, where it consistently improves routing quality and downstream performance over strong MoE baselines. Moreover, optional test-time subspace updates further enhance routing robustness and generalization under input distribution shifts.
• Abstract（参考訳）: Mixture-of-Experts (MoE)は、専門家の特別なサブセットに入力を選択的にルーティングすることで、モデルのキャパシティを効率的にスケールする。 しかし、MoEのコアモチベーションである入出力専門化は、ルータが実際に入力構造を認識しているかどうかに大きく依存する。 実際には、MoEルーティングは通常、入力表現の認識が限定された浅い線形射影として実装され、しばしば不安定なルーティングにつながる。 一般化ヘビアンアルゴリズム (GHA) を通じて支配的な入力構造を追跡する進化的プリンシパル部分空間で、標準学習可能なルーティングを強化することで、MoEルーティングをサブスペース学習問題として再考する構造アウェアルーティングであるSTARを提案する。 ルーティング決定と入力構造を直接整合させることで、STARは安定した専門家の専門化を可能にする。 制御された合成セットアップと大規模言語および視覚タスクに基づいてSTARを評価し、強力なMoEベースラインよりもルーティング品質と下流性能を継続的に向上する。 さらに、任意のテスト時サブスペース更新により、入力分布シフト時のルーティングロバスト性と一般化がさらに強化される。

関連論文リスト

• Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
  Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。 最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。 ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
  論文  参考訳（メタデータ） (2026-05-06T14:15:10Z)
• Self-Routing: Parameter-Free Expert Routing from Hidden States [14.018297453424454]
  Mixture-of-Experts (MoE)レイヤは、トークンごとに専門家の小さなサブセットをアクティベートすることで、モデルのキャパシティを向上する。 本稿では,トークン隠蔽状態の指定された部分空間を専門家のロジットとして直接使用するパラメータフリーなルーティング機構であるSelf-Routingを提案する。
  論文  参考訳（メタデータ） (2026-04-01T03:05:20Z)
• Runtime Burden Allocation for Structured LLM Routing in Agentic Expert Systems: A Full-Factorial Cross-Backend Methodology [16.053669481561354]
  エージェントAIシステムにおいて、大規模言語モデル(LLM)がコアコントロールコンポーネントになるにつれて、信頼性の高い構造化ルーティングは、正確性、レイテンシ、実装コストのバランスをとる必要がある。 このバランスはプロンプトやスキーマだけでなく、生成スタック全体で構造的な作業がどのように割り当てられるかによっても形作られています。 この定式化は、48のデプロイメント構成と15,552のリクエストをOpenAI、Gemini、Llamaバックエンドでカバーする包括的なフルファクターベンチマークを通じて評価する。
  論文  参考訳（メタデータ） (2026-03-26T18:50:46Z)
• Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
  マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。 AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。 5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-03-13T12:26:05Z)
• L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts [49.90176890917986]
  ルーティング空間とスコアリング幾何の両方を共用する統一的なルーティングフレームワークであるL2Rを提案する。 L2Rは、共有低ランク遅延ルーティング空間で専門家の割り当てを行い、ルーティング関数のリプシッツ挙動を明示的に制御するために飽和内積スコーリング(SIPS)を導入している。 大規模言語MoEモデルとImageNet上のビジョンMoE設定の実験では、L2Rはルーティングの安定性、専門家の専門化、モデル全体のパフォーマンスを一貫して改善している。
  論文  参考訳（メタデータ） (2026-01-29T07:18:33Z)
• PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning [30.015399267582044]
  一般的な戦略は、異なるLoRA専門家に入力をルーティングすることで、更新を分離することだ。 既存のLoRAベースのMixture-of-Experts(MoE)メソッドは、ルータと専門家を区別できない方法で共同で更新することが多い。 固定容量PASを用いたMoE-LoRA法を提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:57:11Z)
• Routing Matters in MoE: Scaling Diffusion Transformers with Explicit Routing Guidance [79.21541758879012]
  Mixture-of-Experts (MoE) は計算効率を保ちながらモデルキャパシティをスケールするための強力なパラダイムとして登場した。 本稿では、専門家の専門化を促進する明示的なルーティングガイダンスを備えた2ステップルータを備えたMoEフレームワークであるProMoEを紹介する。
  論文  参考訳（メタデータ） (2025-10-28T17:59:02Z)
• Rethinking Predictive Modeling for LLM Routing: When Simple kNN Beats Complex Learned Routers [3.090041654375235]
  我々は、k-Nearest Neighbors (kNN) アプローチが、様々なタスクにまたがる最先端の学習ルータよりも優れていることを示す。 その結果, 埋め込み空間におけるモデル性能の局所性は, 単純な非パラメトリック手法によって強いルーティング決定を実現できることがわかった。
  論文  参考訳（メタデータ） (2025-05-19T01:33:41Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• Glider: Global and Local Instruction-Driven Expert Router [83.785832410832]
  モデルMoErging」手法は、保持タスクのパフォーマンスを犠牲にして、未確認タスクへの一般化を優先する。 マルチスケールルーティング機構を統合したGLIDER(Global and Local Instruction Driven Expert Router)を提案する。 GLIDERは、ホールドアウトタスクの強い一般化を維持しながら、ホールドイン性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:14Z)
• Attention Routing: track-assignment detailed routing using attention-based reinforcement learning [0.23453441553817037]
  そこで我々は新しいルータであるアテンションルータを提案する。このルータは、強化学習を用いてトラック割り当ての詳細ルーティング問題を解決するための最初の試みである。 注目ルータとそのベースライン遺伝ルータは、異なる商用先進技術アナログ回路の問題を解決するために応用される。
  論文  参考訳（メタデータ） (2020-04-20T17:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。