論文の概要: Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts
- arxiv url: http://arxiv.org/abs/2608.21407v1
- Date: Mon, 10 Aug 2026 11:07:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 05:49:59.233504
- Title: Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts
- Title（参考訳）: マンバをベースとした選択状態空間モデリングは、SmolVLAビジョンランゲージ・アクションエキスパートの精度・複雑さトレードオフを改善する
- Abstract要約: 本稿では,一般的なSmolVLAモデルのアクションエキスパートにおける因果自己注意の代替として,マンバの選択的状態空間モデリングについて検討する。
以上の結果から,マンバ専門家の優位性は,実行地平線によって増大することが示唆された。
- 参考スコア（独自算出の注目度）: 3.5067761206491004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models face a crucial tradeoff between their task success rate and the policy-call frequency. Executing a single action per inference ($N=1$) enables accurate robot control but comes at the cost of huge compute time overheads, making real-time implementation infeasible. On the other hand, executing longer action horizons before replanning ($N\gg1$) reduces compute complexity, but inevitably degrades the system's success rate. In order to improve the VLA accuracy-complexity tradeoff, this paper investigates Mamba's selective state-space modeling as an alternative to causal self-attention within the action expert of the popular SmolVLA model, widely used as a reference model for its highly accurate yet low complexity nature. We evaluate both the Mamba- and Transformer-based experts on the widely-adopted LIBERO benchmark suites across three execution horizons $N\!\in\!\{1,25,50\}$, respectively corresponding to high, moderate and low compute complexities. Our results remarkably show that the advantage of the Mamba expert increases with the execution horizon, indicating significant success retention under long execution horizons $N = 50$ and $N = 25$. When $N = 50$ actions are executed before replanning (i.e., corresponding to feasible real-time deployment), the Mamba expert outperforms the Transformer baseline by $7.8\%$. In addition, when $N = 25$ actions are executed before replanning, our Mamba expert outperforms the Transformer baseline by $3.7\%$. Finally, under per-action replanning ($N=1$), our Mamba variant matches the Transformer-based mean success rate while significantly reducing the overall model parameter complexity by $24\%$ thanks to Mamba's compute-efficient nature.
- Abstract（参考訳）: ビジョン・ランゲージ・アクション(VLA)モデルは、タスクの成功率とポリシー・コール頻度の間に重要なトレードオフに直面します。
推論毎にひとつのアクションを実行する(N=1$)ことで、ロボットの正確な制御が可能になるが、計算時間のオーバーヘッドが大きいため、リアルタイムの実装が不可能になる。
一方、(N\gg1$)の再計画前により長いアクション水平線を実行すると、計算の複雑さが減少するが、必然的にシステムの成功率を低下させる。
本稿では, VLAの精度・複雑さトレードオフを改善するために, 一般的なSmolVLAモデルのアクションエキスパートにおける因果自己注意の代替として, マンバの選択的状態空間モデリングについて検討する。
広範に採用されているLIBEROベンチマークスイートについて,MambaとTransformerをベースとした専門家の両面から評価を行った。
イン!
{1,25,50\}$は、それぞれ高、中、低の計算複雑性に対応する。
以上の結果から,Mambaエキスパートのメリットは,実行地平線によって増大し,長期実行地平線下での大幅な成功率維持が期待できることがわかった。
変更前に$N = 50$アクションが実行されるとき(すなわち、実現可能なリアルタイムデプロイメントに対応する)、Mambaのエキスパートは、Transformerベースラインを7.8\%$で上回っている。
さらに、再計画する前に$N = 25$アクションが実行されると、MambaのエキスパートはTransformerのベースラインを$3.7\%で上回ります。
最後に、アクションごとのリプラン($N=1$)の下で、我々のMamba変種は、Transformerベースの平均成功率と一致し、Mambaの計算効率の良い性質のおかげで、全体のモデルパラメータの複雑さを2,4\%削減します。
関連論文リスト
- Mamba-3: Improved Sequence Modeling using State Space Principles [74.41028882099846]
線形モデルの状態空間モデル(SSM)の視点に触発された3つの中核的方法論的改善を紹介する。
アーキテクチャの改良とともに、Mamba-3モデルは、検索、状態追跡、下流言語モデリングタスク間で大きな進歩を遂げます。
論文 参考訳（メタデータ） (2026-03-16T17:30:08Z) - eMamba: Efficient Acceleration Framework for Mamba Models in Edge Computing [14.932572899503935]
State Space Model (SSM)ベースの機械学習アーキテクチャは、最近、シーケンシャルデータを処理する上で大きな注目を集めている。
eMambaは、エッジプラットフォームにMambaモデルをデプロイするために特別に設計された、包括的なエンドツーエンドハードウェアアクセラレーションフレームワークである。
我々はeMambaが1.63-19.9$times$ lessパラメータを使って最先端技術に匹敵する精度を達成することを示した。
論文 参考訳（メタデータ） (2025-08-14T06:08:05Z) - Diffusion Transformer-to-Mamba Distillation for High-Resolution Image Generation [65.46359545280546]
本稿では,効率的なトレーニングパイプラインを形成するための拡散変圧器-タンバ蒸留(T2MD)について紹介する。
我々は,効率とグローバルな依存関係を同時に達成する拡散自己注意とマンバハイブリッドモデルを確立する。
実験により、トレーニングパスはオーバーヘッドが低く、高品質のテキスト・ツー・イメージ生成につながることが示された。
論文 参考訳（メタデータ） (2025-06-23T18:01:19Z) - Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。
Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。
本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
論文 参考訳（メタデータ） (2025-06-22T19:26:55Z) - Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。
本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
論文 参考訳（メタデータ） (2024-12-21T13:43:51Z) - Bi-Mamba: Towards Accurate 1-Bit State Space Models [45.70829795551893]
$textttBi-Mamba$は、より効率的な大規模言語モデル(LLM)を実現するために設計されたスケーラブルで強力な1ビットのMambaアーキテクチャである。
$textttBi-Mamba$モデルは、自己回帰蒸留損失を使用して標準LLMスケールデータセットのスクラッチからトレーニングされる。
言語モデリングベンチマークの実験では、$textttBi-Mamba$は、その完全な精度に匹敵するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-11-18T18:59:15Z) - Mamba for Scalable and Efficient Personalized Recommendations [0.135975510645475]
本稿では,FT-Transformer アーキテクチャにおいて,Transformer 層を Mamba 層に置き換える新しいハイブリッドモデルを提案する。
FT-Mambaを従来のTransformerベースモデルと比較し,3つのデータセット上でのTwo-Towerアーキテクチャについて検討した。
論文 参考訳（メタデータ） (2024-09-11T14:26:14Z) - Sparse Mamba: Introducing Controllability, Observability, And Stability To Structural State Space Models [2.6353853440763118]
提案するS-Mambaにおいて,元のMamba SSMアーキテクチャに可制御性と可観測性の概念を導入する。
従来のMambaアーキテクチャの可制御性と可観測性を強化した上で, 難易度を5%改善し, トレーニング時間を3%短縮した。
論文 参考訳（メタデータ） (2024-08-31T23:25:12Z) - SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。
具体的には,各変数の時間点を線形層を介して自律的にトークン化する。
13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
論文 参考訳（メタデータ） (2024-03-17T08:50:44Z) - EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba [19.062950348441426]
本研究は、軽量モデル設計における視覚状態空間モデルの可能性を探究し、EfficientVMambaと呼ばれる新しい効率的なモデル変種を導入することを提案する。
我々のEfficientVMambaは、グローバルおよびローカルの両方の表現機能を利用するように設計されたビルディングブロックを構成する効率的なスキップサンプリングにより、アトラスベースの選択的スキャン手法を統合する。
実験の結果,EfficientVMambaは計算複雑性を縮小し,様々な視覚タスクの競合結果が得られることがわかった。
論文 参考訳（メタデータ） (2024-03-15T02:48:47Z) - Exploring Sparse Expert Models and Beyond [51.90860155810848]
Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。
本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。
この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
論文 参考訳（メタデータ） (2021-05-31T16:12:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。