論文の概要: L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2601.21349v1
• Date: Thu, 29 Jan 2026 07:18:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.642289
• Title: L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts
• Title（参考訳）: L2R:低ランク・リプシッツ型混合回路
• Authors: Minghao Yang, Ren Togo, Guang Li, Takahiro Ogawa, Miki Haseyama,
• Abstract要約: ルーティング空間とスコアリング幾何の両方を共用する統一的なルーティングフレームワークであるL2Rを提案する。 L2Rは、共有低ランク遅延ルーティング空間で専門家の割り当てを行い、ルーティング関数のリプシッツ挙動を明示的に制御するために飽和内積スコーリング(SIPS)を導入している。 大規模言語MoEモデルとImageNet上のビジョンMoE設定の実験では、L2Rはルーティングの安定性、専門家の専門化、モデル全体のパフォーマンスを一貫して改善している。
• 参考スコア（独自算出の注目度）: 49.90176890917986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) models scale neural networks by conditionally activating a small subset of experts, where the router plays a central role in determining expert specialization and overall model performance. However, many modern MoE systems still adopt linear routers in raw high-dimensional representation spaces, where representation mismatch, angular concentration, and scale-sensitive scoring can jointly undermine routing discriminability and stable expert specialization. In this work, we propose Low-rank \& Lipschitz-controlled Routing (L2R), a unified routing framework that reshapes both the routing space and scoring geometry. L2R performs expert assignment in a shared low-rank latent routing space and introduces Saturated Inner-Product Scoring (SIPS) to explicitly control the Lipschitz behavior of routing functions, yielding smoother and more stable routing geometry. In addition, L2R incorporates a parameter-efficient multi-anchor routing mechanism to enhance expert expressiveness. Extensive experiments on a large-scale language MoE model and a vision MoE setting on ImageNet demonstrate that L2R consistently improves routing stability, expert specialization, and overall model performance.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、専門家の小さなサブセットを条件付きアクティベートすることでニューラルネットワークをスケールする。 しかし、多くの現代MoEシステムは、表現ミスマッチ、角濃度、スケール敏感なスコアリングがルーティングの識別可能性や安定した専門家の専門化を損なうような、生の高次元表現空間における線形ルータを依然として採用している。 本研究では、ルーティング空間とスコアリング幾何の両方を共用する統一的なルーティングフレームワークであるL2Rを提案する。 L2Rは、共有低ランク遅延ルーティング空間において専門家の割り当てを行い、ルーティング関数のリプシッツの振る舞いを明示的に制御し、よりスムーズでより安定したルーティング幾何をもたらすために飽和内積スコーリング(SIPS)を導入している。 さらに、L2Rにはパラメータ効率のよいマルチアンカールーティング機構が組み込まれ、専門家の表現力を高めている。 大規模言語 MoE モデルと ImageNet 上でのビジョン MoE 設定による大規模な実験により,L2R はルーティング安定性,専門家の専門化,モデル全体の性能を一貫して向上することが示された。

関連論文リスト

• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• Spectral Manifold Regularization for Stable and Modular Routing in Deep MoE Architectures [2.538209532048867]
  エキスパートの混在(MoE)アーキテクチャは、ニューラルネットワークの効率的なスケーリングを可能にするが、専門家の崩壊に苦しむ。 構造的モジュラリティを強制するために、ルーティング多様体に幾何的制約を課すスペクトル規則化エキスパート混合(SR-MoE)を提案する。
  論文  参考訳（メタデータ） (2026-01-07T12:59:37Z)
• Run, Ruminate, and Regulate: A Dual-process Thinking System for Vision-and-Language Navigation [52.11339614452127]
  VLN(Vision-and-Language Navigation)は、エージェントが人間の指示に従って複雑な3D環境を動的に探索する必要がある。 近年の研究では、一般的な知識と一般的な推論能力から、大きな言語モデル(LLM)をVLNに活用する可能性を強調している。 本稿では、LLMの一般化機能とVLN固有の専門知識をゼロショットで統合する、R3と呼ばれる新しいデュアルプロセス思考フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-18T04:32:00Z)
• DiSRouter: Distributed Self-Routing for LLM Selections [23.38983740640377]
  集中制御から分散ルーティングへ移行する新しいパラダイムであるDiS(Distributed Self-)を紹介する。 DiS では、クエリは LLM エージェントのネットワークを横切り、それぞれが自身の自己認識に基づいて他のエージェントに答えるかどうかを独立に決定する。 大規模な実験により、DiSは様々なシナリオで既存のルーティング方法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-10-22T03:36:40Z)
• FURINA: Free from Unmergeable Router via LINear Aggregation of mixed experts [17.056585698418587]
  パラメータ効率の良い微調整のために,Mixture of Experts (MoE) をローランド適応 (LoRA) に統合することに成功している。 既存のMoE-LoRA手法の鍵となる制限は、離散ルータに依存することである。 我々は,LINear Aggregation of expertsに基づく,フリー・アグリゲーション・オブ・アンマージブル・ルータ・フレームワークであるFURINAを提案する。
  論文  参考訳（メタデータ） (2025-09-18T12:22:32Z)
• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• RadialRouter: Structured Representation for Efficient and Robust Large Language Models Routing [27.481573948464987]
  Radialは、大規模言語モデルのルーティングのための新しいフレームワークである。 RadialFormerという名前のラジアル構造を持つ軽量なTransformerベースのバックボーンを使用して、クエリとLLMの関係を明確にする。 バランシングとコストファーストのシナリオでは、既存のルーティングメソッドの9.2%と5.8%を大きく上回っている。
  論文  参考訳（メタデータ） (2025-06-04T12:16:41Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。