論文の概要: Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection

• arxiv url: http://arxiv.org/abs/2506.18145v1
• Date: Sun, 22 Jun 2025 19:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.773779
• Title: Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection
• Title（参考訳）: Routing Mamba:Mixture-of-Expertsプロジェクションによる状態空間モデルのスケーリング
• Authors: Zheng Zhan, Liliang Ren, Shuohang Wang, Liyuan Liu, Yang Liu, Yeyun Gong, Yanzhi Wang, Yelong Shen,
• Abstract要約: 線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
• 参考スコア（独自算出の注目度）: 88.47928738482719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear State Space Models (SSMs) offer remarkable performance gains in efficient sequence modeling, with constant inference-time computation and memory complexity. Recent advances, such as Mamba, further enhance SSMs with input-dependent gating and hardware-aware implementations, positioning them as strong alternatives to Transformers for long sequence modeling. However, efficiently scaling the expressive power of SSMs, particularly with Mixture of Experts (MoE), remains challenging, as naive integration attempts often falter or degrade performance. In this work, we introduce Routing Mamba (RoM), a novel approach that scales SSM parameters using sparse mixtures of linear projection experts. By sharing routing decisions between projection layers and lightweight sub-modules within Mamba across experts, RoM leverages synergies among linear projection experts for effective and efficient sparse scaling of Mamba layers. At a scale of 1.3B active parameters (10B total) and 16K training sequence length, RoM achieves language modeling performance equivalent to a dense Mamba model requiring over 2.3x more active parameters, and demonstrates consistent perplexity across context lengths. Experimental results further show RoM effectively scales hybrid language models, yielding a 23% FLOPS saving compared to dense Mamba scaling for similar performance.
• Abstract（参考訳）: 線形状態空間モデル(SSM)は、一定の推論時間計算とメモリ複雑性を持つ効率的なシーケンスモデリングにおいて、顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装によりSSMをさらに強化し、長いシーケンスモデリングのためのTransformerの強力な代替品として位置づけている。 しかしながら,SSMの表現力,特にMixture of Experts (MoE) を効率的にスケールアップすることは依然として困難である。 本研究では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。 プロジェクション層と軽量サブモジュール間のルーティング決定を専門家間で共有することにより、RoMは、線形プロジェクション専門家間のシナジーを利用して、効果的かつ効率的なMamba層のスパーススケーリングを行う。 1.3Bのアクティブパラメータ(合計10B)と16Kのトレーニングシーケンス長のスケールで、RoMは2.3倍以上のアクティブパラメータを必要とする密度のMambaモデルと同等の言語モデリング性能を達成し、コンテキスト長間で一貫したパープレキシティを示す。 さらに、RoMはハイブリッド言語モデルを効果的にスケールし、23%のFLOPSを節約できることを示した。

関連論文リスト

• Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence [33.38031167119682]
  数ショットのアクション認識では、ビデオの長いサブシーケンスは、アクション全体をより効果的に表現する。 最近のMambaは、長いシーケンスをモデリングする効率を示すが、MambaをFSARに直接適用することは、局所的な特徴モデリングとアライメントの重要性を見落としている。 これらの課題を解決するために,Matryoshka MAmba と CoNtrasTive LeArning フレームワーク (Manta) を提案する。 Mantaは、SSv2、Kineetics、UCF101、HMDB51などの著名なベンチマークで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-12-10T13:03:42Z)
• Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
  継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。 ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。 大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
  論文  参考訳（メタデータ） (2024-11-23T06:36:16Z)
• ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
  本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
  論文  参考訳（メタデータ） (2024-08-28T02:47:27Z)
• Mamba State-Space Models Are Lyapunov-Stable Learners [1.6385815610837167]
  Mamba State-space Model (SSM) は、最近様々なタスクでTransformer Large Language Model (LLM) より優れていることが示されている。 我々は,Mambaのリカレントダイナミクスが小さな入力変化に対して堅牢であることを示す。 また、命令チューニングにより、Mambaモデルはこのギャップを81%に、Mamba-2モデルはこのギャップを132%に制限できることを示す。
  論文  参考訳（メタデータ） (2024-05-31T21:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。