論文の概要: Mamba Policy: Towards Efficient 3D Diffusion Policy with Hybrid Selective State Models
- arxiv url: http://arxiv.org/abs/2409.07163v1
- Date: Wed, 11 Sep 2024 10:21:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 15:02:58.590559
- Title: Mamba Policy: Towards Efficient 3D Diffusion Policy with Hybrid Selective State Models
- Title(参考訳): マンバ政策:ハイブリッド選択状態モデルによる効率的な3次元拡散政策を目指して
- Authors: Jiahang Cao, Qiang Zhang, Jingkai Sun, Jiaxu Wang, Hao Cheng, Yulin Li, Jun Ma, Yecheng Shao, Wen Zhao, Gang Han, Yijie Guo, Renjing Xu,
- Abstract要約: Mambaモデルは効率的なモデリングのための有望なソリューションとして登場した。
本稿では,従来の政策ネットワークと比較してパラメータ数を80%以上削減するMamba Policyを提案する。
大規模な実験では、Mamba PolicyがAdroit、Dexart、MetaWorldのデータセットに優れていることが示されている。
- 参考スコア(独自算出の注目度): 20.956716048789474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have been widely employed in the field of 3D manipulation due to their efficient capability to learn distributions, allowing for precise prediction of action trajectories. However, diffusion models typically rely on large parameter UNet backbones as policy networks, which can be challenging to deploy on resource-constrained devices. Recently, the Mamba model has emerged as a promising solution for efficient modeling, offering low computational complexity and strong performance in sequence modeling. In this work, we propose the Mamba Policy, a lighter but stronger policy that reduces the parameter count by over 80% compared to the original policy network while achieving superior performance. Specifically, we introduce the XMamba Block, which effectively integrates input information with conditional features and leverages a combination of Mamba and Attention mechanisms for deep feature extraction. Extensive experiments demonstrate that the Mamba Policy excels on the Adroit, Dexart, and MetaWorld datasets, requiring significantly fewer computational resources. Additionally, we highlight the Mamba Policy's enhanced robustness in long-horizon scenarios compared to baseline methods and explore the performance of various Mamba variants within the Mamba Policy framework. Our project page is in https://andycao1125.github.io/mamba_policy/.
- Abstract(参考訳): 拡散モデルは、分布を学習し、行動軌跡の正確な予測を可能にするために、3次元操作の分野で広く利用されている。
しかし、拡散モデルは一般的に、リソース制約のあるデバイスにデプロイすることが難しいポリシーネットワークとして、大きなパラメータUNetバックボーンに依存している。
近年、Mambaモデルが効率的なモデリングのための有望なソリューションとして登場し、計算複雑性が低く、シーケンスモデリングの性能も高い。
本研究は,従来の政策ネットワークと比較してパラメータ数を80%以上削減し,優れた性能を保ちつつ,より軽量かつ強力な政策であるマンバ政策を提案する。
具体的には,入力情報と条件付き特徴を効果的に統合するXMamba Blockを導入し,深い特徴抽出にMambaとAtentionの機構を組み合わせる。
大規模な実験では、Mamba PolicyがAdroit、Dexart、MetaWorldのデータセットに優れており、計算リソースが大幅に少ないことが示されている。
さらに,マンバ政策の長期シナリオにおける強靭性の向上を基本手法と比較して強調し,マンバ政策フレームワーク内の様々なマンバ変種の性能について検討する。
私たちのプロジェクトページはhttps://andycao1125.github.io/mamba_policy/にあります。
関連論文リスト
- MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。
私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。
視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
論文 参考訳(メタデータ) (2024-07-10T23:02:45Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文 参考訳(メタデータ) (2024-06-20T17:40:18Z) - MaIL: Improving Imitation Learning with Mamba [30.96458274130313]
Mamba Imitation Learning (MaIL)は、最先端(SoTA)トランスフォーマーポリシーに代わる計算効率の良い代替手段を提供する、新しい模倣学習アーキテクチャである。
Mambaは、Transformersに対するSSMやライバルのパフォーマンスを大幅に改善し、ILポリシーの魅力的な代替品として位置づけている。
論文 参考訳(メタデータ) (2024-06-12T14:01:12Z) - MambaLRP: Explaining Selective State Space Sequence Models [18.133138020777295]
マンバモデルは線形時間で長い列の効率的な処理を可能にする。
これらのモデルは、言語モデリングのような広範囲のアプリケーションで急速に採用されている。
現実のシナリオにおける信頼性の高い利用を促進するためには、透明性を高めることが重要です。
我々は、より安定かつ信頼性の高い関連伝播を保証するLRPフレームワーク内での新しいアルゴリズムであるMambaLRPを提案する。
論文 参考訳(メタデータ) (2024-06-11T12:15:47Z) - Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。
雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
論文 参考訳(メタデータ) (2024-06-08T10:12:00Z) - Visual Mamba: A Survey and New Outlooks [33.90213491829634]
最近の選択的構造化状態空間モデルであるMambaは、ロングシーケンスモデリングにおいて優れている。
2024年1月以降、マンバは多様なコンピュータビジョンタスクに積極的に適用されてきた。
本稿では,200以上の論文を分析し,マンバの視覚的アプローチを概観する。
論文 参考訳(メタデータ) (2024-04-29T16:51:30Z) - SPMamba: State-space model is all you need in speech separation [20.168153319805665]
CNNベースの音声分離モデルは、局所的な受容的場制限に直面し、長期間の依存関係を効果的にキャプチャできない。
本稿では,SPMambaという音声分離手法を提案する。
このモデルは、TF-GridNetアーキテクチャに基づいており、従来のBLSTMモジュールを双方向のMambaモジュールに置き換えている。
論文 参考訳(メタデータ) (2024-04-02T16:04:31Z) - PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。
従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
論文 参考訳(メタデータ) (2024-02-16T14:56:13Z) - Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。
Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-02-05T18:58:11Z) - Is Mamba Capable of In-Context Learning? [63.682741783013306]
GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する
この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
論文 参考訳(メタデータ) (2024-02-05T16:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。