論文の概要: MaIL: Improving Imitation Learning with Mamba

• arxiv url: http://arxiv.org/abs/2406.08234v2
• Date: Tue, 19 Nov 2024 14:44:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:32:57.777475
• Title: MaIL: Improving Imitation Learning with Mamba
• Title（参考訳）: MaIL: Mambaによる模倣学習の改善
• Authors: Xiaogang Jia, Qian Wang, Atalay Donat, Bowen Xing, Ge Li, Hongyi Zhou, Onur Celik, Denis Blessing, Rudolf Lioutikov, Gerhard Neumann,
• Abstract要約: Mamba Imitation Learning (MaIL)は、最先端(SoTA)トランスフォーマーベースのポリシーの代替を提供する。 Mambaのアーキテクチャは、重要な特徴に焦点をあてることで、表現学習効率を高める。 MaILは、制限されたデータで全てのLIBEROタスクでトランスフォーマーを一貫して上回る。
• 参考スコア（独自算出の注目度）: 30.96458274130313
• License:
• Abstract: This work presents Mamba Imitation Learning (MaIL), a novel imitation learning (IL) architecture that provides an alternative to state-of-the-art (SoTA) Transformer-based policies. MaIL leverages Mamba, a state-space model designed to selectively focus on key features of the data. While Transformers are highly effective in data-rich environments due to their dense attention mechanisms, they can struggle with smaller datasets, often leading to overfitting or suboptimal representation learning. In contrast, Mamba's architecture enhances representation learning efficiency by focusing on key features and reducing model complexity. This approach mitigates overfitting and enhances generalization, even when working with limited data. Extensive evaluations on the LIBERO benchmark demonstrate that MaIL consistently outperforms Transformers on all LIBERO tasks with limited data and matches their performance when the full dataset is available. Additionally, MaIL's effectiveness is validated through its superior performance in three real robot experiments. Our code is available at https://github.com/ALRhub/MaIL.
• Abstract（参考訳）: この研究は、最先端(SoTA)トランスフォーマーベースのポリシーに代わる新しい模倣学習(IL)アーキテクチャであるMamba Imitation Learning(MaIL)を提示する。 MaILは、データの主要な機能に選択的にフォーカスするように設計された状態空間モデルであるMambaを利用している。 トランスフォーマーは、その集中的な注意機構のため、データ豊富な環境において非常に効果的であるが、小さなデータセットと競合する可能性があり、多くの場合、過度な適合や準最適表現学習につながる。 対照的に、Mambaのアーキテクチャは、重要な特徴に焦点をあて、モデルの複雑さを減らすことによって、表現学習の効率を高める。 このアプローチは、限られたデータを扱う場合であっても、過度な適合を緩和し、一般化を強化する。 LIBEROベンチマークの大規模な評価は、MaILがすべてのLIBEROタスクでトランスフォーマーを一貫して上回っており、完全なデータセットが利用可能になったときのパフォーマンスと一致していることを示している。 さらに、3つの実際のロボット実験において、MaILの有効性は優れた性能で検証されている。 私たちのコードはhttps://github.com/ALRhub/MaIL.comで公開されています。

関連論文リスト

• MambaPEFT: Exploring Parameter-Efficient Fine-Tuning for Mamba [0.5530212768657544]
  ステートスペースモデル(SSM)ベースのモデルであるMambaは、トランスフォーマーの代替として注目されている。 Mambaに適用した場合のトランスフォーマーに対する既存のPEFT法の有効性について検討する。 本研究では,マンバの固有構造を利用した新しいPEFT法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T11:57:55Z)
• MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining [23.37555991996508]
  本稿では,Masked Autoregressive Pretraining (MAP) を提案する。 MAPで事前学習したMambaアーキテクチャとハイブリッドMamba-Transformerビジョンバックボーンネットワークが,他の事前学習戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-01T17:05:08Z)
• ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
  本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
  論文  参考訳（メタデータ） (2024-08-28T02:47:27Z)
• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留することが可能であることを示す。 その結果、注意層を4分の1含むハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)
• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• An Empirical Study of Mamba-based Pedestrian Attribute Recognition [15.752464463535178]
  本論文は,Mambaを2つの典型的なPARフレームワーク,テキスト画像融合アプローチと純粋ビジョンMambaマルチラベル認識フレームワークに設計・適応する。 属性タグを追加入力として操作することは、必ずしも改善につながるとは限らない。具体的には、Vimを拡張できるが、VMambaではできない。 これらの実験結果は、単にTransformerでMambaを拡張すれば、パフォーマンスが向上するだけでなく、特定の設定でより良い結果が得られることを示している。
  論文  参考訳（メタデータ） (2024-07-15T00:48:06Z)
• An Empirical Study of Mamba-based Language Models [69.74383762508805]
  Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。 同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。 8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
  論文  参考訳（メタデータ） (2024-06-12T05:25:15Z)
• Decision Mamba Architectures [1.4255659581428335]
  決定マンバアーキテクチャは、様々なタスク領域でトランスフォーマーより優れていることが示されている。 決定マンバ(DM)と階層決定マンバ(HDM)の2つの新しい手法を紹介する。 我々は,ほとんどのタスクにおいて,TransformerモデルよりもMambaモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-13T17:18:08Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)
• MambaByte: Token-free Selective State Space Model [71.90159903595514]
  マンババイト(英: MambaByte)は、マンバSSMがバイト配列で自己回帰的に訓練したトークンレス適応である。 MambaByteは、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れています。
  論文  参考訳（メタデータ） (2024-01-24T18:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。