論文の概要: Mamba Policy: Towards Efficient 3D Diffusion Policy with Hybrid Selective State Models

• arxiv url: http://arxiv.org/abs/2409.07163v1
• Date: Wed, 11 Sep 2024 10:21:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 15:02:58.590559
• Title: Mamba Policy: Towards Efficient 3D Diffusion Policy with Hybrid Selective State Models
• Title（参考訳）: マンバ政策:ハイブリッド選択状態モデルによる効率的な3次元拡散政策を目指して
• Authors: Jiahang Cao, Qiang Zhang, Jingkai Sun, Jiaxu Wang, Hao Cheng, Yulin Li, Jun Ma, Yecheng Shao, Wen Zhao, Gang Han, Yijie Guo, Renjing Xu,
• Abstract要約: Mambaモデルは効率的なモデリングのための有望なソリューションとして登場した。 本稿では,従来の政策ネットワークと比較してパラメータ数を80%以上削減するMamba Policyを提案する。 大規模な実験では、Mamba PolicyがAdroit、Dexart、MetaWorldのデータセットに優れていることが示されている。
• 参考スコア（独自算出の注目度）: 20.956716048789474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have been widely employed in the field of 3D manipulation due to their efficient capability to learn distributions, allowing for precise prediction of action trajectories. However, diffusion models typically rely on large parameter UNet backbones as policy networks, which can be challenging to deploy on resource-constrained devices. Recently, the Mamba model has emerged as a promising solution for efficient modeling, offering low computational complexity and strong performance in sequence modeling. In this work, we propose the Mamba Policy, a lighter but stronger policy that reduces the parameter count by over 80% compared to the original policy network while achieving superior performance. Specifically, we introduce the XMamba Block, which effectively integrates input information with conditional features and leverages a combination of Mamba and Attention mechanisms for deep feature extraction. Extensive experiments demonstrate that the Mamba Policy excels on the Adroit, Dexart, and MetaWorld datasets, requiring significantly fewer computational resources. Additionally, we highlight the Mamba Policy's enhanced robustness in long-horizon scenarios compared to baseline methods and explore the performance of various Mamba variants within the Mamba Policy framework. Our project page is in https://andycao1125.github.io/mamba_policy/.
• Abstract（参考訳）: 拡散モデルは、分布を学習し、行動軌跡の正確な予測を可能にするために、3次元操作の分野で広く利用されている。 しかし、拡散モデルは一般的に、リソース制約のあるデバイスにデプロイすることが難しいポリシーネットワークとして、大きなパラメータUNetバックボーンに依存している。 近年、Mambaモデルが効率的なモデリングのための有望なソリューションとして登場し、計算複雑性が低く、シーケンスモデリングの性能も高い。 本研究は,従来の政策ネットワークと比較してパラメータ数を80%以上削減し,優れた性能を保ちつつ,より軽量かつ強力な政策であるマンバ政策を提案する。 具体的には,入力情報と条件付き特徴を効果的に統合するXMamba Blockを導入し,深い特徴抽出にMambaとAtentionの機構を組み合わせる。 大規模な実験では、Mamba PolicyがAdroit、Dexart、MetaWorldのデータセットに優れており、計算リソースが大幅に少ないことが示されている。 さらに,マンバ政策の長期シナリオにおける強靭性の向上を基本手法と比較して強調し,マンバ政策フレームワーク内の様々なマンバ変種の性能について検討する。 私たちのプロジェクトページはhttps://andycao1125.github.io/mamba_policy/にあります。

関連論文リスト

• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• State-space models are accurate and efficient neural operators for dynamical systems [23.59679792068364]
  物理インフォームド・機械学習(PIML)は、力学系を予測する古典的な手法の代替として期待されている。 リカレントニューラルネットワーク(RNN)、トランスフォーマー、ニューラル演算子など、既存のモデルでは、長時間の統合、長距離依存性、カオスダイナミクス、外挿といった課題に直面している。 本稿では,Mambaで実装された動的システム演算子学習のための状態空間モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-05T03:57:28Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaMIM: Pre-training Mamba with State Space Token-interpolation [14.343466340528687]
  選択構造状態空間補間(S6T)に基づくMamba(MambaMIM)の自己教師型学習手法を提案する。 MambaMIMは、Mambaの長距離表現能力を向上するために、任意の単一またはハイブリッドのMambaアーキテクチャで使用することができる。
  論文  参考訳（メタデータ） (2024-08-15T10:35:26Z)
• MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
  本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。 私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。 視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-07-10T23:02:45Z)
• Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
  決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。 雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。 この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
  論文  参考訳（メタデータ） (2024-06-08T10:12:00Z)
• Mamba as Decision Maker: Exploring Multi-scale Sequence Modeling in Offline Reinforcement Learning [16.23977055134524]
  我々はMamba Decision Maker (MambaDM) という新しいアクション予測手法を提案する。 MambaDMは、マルチスケール依存関係の効率的なモデリングのため、シーケンスモデリングのパラダイムの有望な代替品として期待されている。 本稿では,RL領域におけるMambaDMのシーケンスモデリング機能について述べる。
  論文  参考訳（メタデータ） (2024-06-04T06:49:18Z)
• Visual Mamba: A Survey and New Outlooks [33.90213491829634]
  最近の選択的構造化状態空間モデルであるMambaは、ロングシーケンスモデリングにおいて優れている。 2024年1月以降、マンバは多様なコンピュータビジョンタスクに積極的に適用されてきた。 本稿では,200以上の論文を分析し,マンバの視覚的アプローチを概観する。
  論文  参考訳（メタデータ） (2024-04-29T16:51:30Z)
• PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
  我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。 従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-16T14:56:13Z)
• Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
  本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。 Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-05T18:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。