論文の概要: Is Mamba Compatible with Trajectory Optimization in Offline Reinforcement Learning?

• arxiv url: http://arxiv.org/abs/2405.12094v1
• Date: Mon, 20 May 2024 15:05:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 12:55:09.371751
• Title: Is Mamba Compatible with Trajectory Optimization in Offline Reinforcement Learning?
• Title（参考訳）: オフライン強化学習における軌道最適化とMambaは相容れないか?
• Authors: Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Shengchao Hu, Mengzhu Wang, Shouling Ji, Jincai Huang, Li Shen,
• Abstract要約: 変圧器を用いた軌道最適化手法はオフライン強化学習(オフラインRL)において例外的な性能を示した。 本研究は,オフラインRL(Dubbed DeMa)におけるDecision Mambaの可能性を探るため,総合的な実験を行うことを目的とする。 我々の特別設計したDeMaは軌道最適化と互換性があり、従来の最先端の手法を超越している。
• 参考スコア（独自算出の注目度）: 32.33214392196923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based trajectory optimization methods have demonstrated exceptional performance in offline Reinforcement Learning (offline RL), yet it poses challenges due to substantial parameter size and limited scalability, which is particularly critical in sequential decision-making scenarios where resources are constrained such as in robots and drones with limited computational power. Mamba, a promising new linear-time sequence model, offers performance on par with transformers while delivering substantially fewer parameters on long sequences. As it remains unclear whether Mamba is compatible with trajectory optimization, this work aims to conduct comprehensive experiments to explore the potential of Decision Mamba in offline RL (dubbed DeMa) from the aspect of data structures and network architectures with the following insights: (1) Long sequences impose a significant computational burden without contributing to performance improvements due to the fact that DeMa's focus on sequences diminishes approximately exponentially. Consequently, we introduce a Transformer-like DeMa as opposed to an RNN-like DeMa. (2) For the components of DeMa, we identify that the hidden attention mechanism is key to its success, which can also work well with other residual structures and does not require position embedding. Extensive evaluations from eight Atari games demonstrate that our specially designed DeMa is compatible with trajectory optimization and surpasses previous state-of-the-art methods, outdoing Decision Transformer (DT) by 80\% with 30\% fewer parameters, and exceeds DT in MuJoCo with only a quarter of the parameters.
• Abstract（参考訳）: トランスフォーマーベースの軌道最適化手法は、オフライン強化学習(オフラインRL)において例外的な性能を示したが、かなりのパラメータサイズと限られたスケーラビリティのため、特に計算能力に制限のあるロボットやドローンのようなリソースが制約されたシーケンシャルな意思決定シナリオにおいて、課題を生じさせている。 有望な新しい線形時間シーケンスモデルであるMambaは、トランスフォーマーと同等のパフォーマンスを提供すると同時に、長いシーケンスのパラメータをかなり少なく提供する。 Mambaが軌道最適化と互換性があるかどうかは不明だが、本研究の目的は、データ構造やネットワークアーキテクチャの観点からオフラインRL(Dubbed DeMa)におけるDecision Mambaの可能性を探るための包括的な実験を行うことである。 その結果,トランスフォーマーライクなDeMaを,RNNライクなDeMaとは対照的に導入した。 2)DeMaのコンポーネントでは,隠れ注意機構が成功の鍵であり,他の残留構造ともうまく動作し,位置埋め込みを必要としない。 8つのAtariゲームによる大規模な評価の結果,DeMaはトラジェクトリ最適化と互換性があり,従来の最先端手法を超越し,パラメータが30倍のDecision Transformer(DT)を80倍に上回り,パラメータの4分の1しか持たないMuJoCoではDTを上回っていることがわかった。

関連論文リスト

• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Integrating Multi-Modal Input Token Mixer Into Mamba-Based Decision Models: Decision MetaMamba [0.0]
  状態空間モデル(SSM)を用いたシーケンスモデリングは、様々なタスクにおけるトランスフォーマーよりもパフォーマンスが優れていることを示した。 しかし、最先端のSSMであるMambaに基づく決定モデルは、拡張された決定変換器よりも優れた性能を達成できなかった。 本稿では,DMM(Decision MetaMamba)を提案する。
  論文  参考訳（メタデータ） (2024-08-20T03:35:28Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Mamba as Decision Maker: Exploring Multi-scale Sequence Modeling in Offline Reinforcement Learning [16.23977055134524]
  我々はMamba Decision Maker (MambaDM) という新しいアクション予測手法を提案する。 MambaDMは、マルチスケール依存関係の効率的なモデリングのため、シーケンスモデリングのパラダイムの有望な代替品として期待されている。 本稿では,RL領域におけるMambaDMのシーケンスモデリング機能について述べる。
  論文  参考訳（メタデータ） (2024-06-04T06:49:18Z)
• Decision Mamba: Reinforcement Learning via Hybrid Selective Sequence Modeling [13.253878928833688]
  テキスト内強化学習のための決定マンバ・ヒブリッド(DM-H)を提案する。 DM-Hは、マンバモデルを介して長期記憶から高価値のサブゴールを生成する。 長期タスクにおけるDM-Hのオンラインテストは、トランスフォーマーベースのベースラインよりも28$times$speedである。
  論文  参考訳（メタデータ） (2024-05-31T10:41:03Z)
• Bitformer: An efficient Transformer with bitwise operation-based attention for Big Data Analytics at low-cost low-precision devices [2.484958184370265]
  本稿では,従来の浮動小数点行列乗算をビット演算に置き換える新しいアテンション機構であるBitformerモデルを提案する。 浮動小数点演算の典型的な$O(n2d)$複雑性から、ビット演算を特徴づける$O(n2T)$複雑性への移行は、この利点を裏付けるものである。
  論文  参考訳（メタデータ） (2023-11-22T16:20:24Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)
• NxMTransformer: Semi-Structured Sparsification for Natural Language Understanding via ADMM [16.464030458567187]
  我々はNxMTransformerと呼ばれる新しい学習フレームワークを導入し、事前訓練された言語モデル上でNxM半構造化空間を誘導する。 我々は,制約付き最適化問題としてNxM空間を定式化し,下流タスクの最適化に Alternating Direction Method of Multipliers (ADMM) を用いることを提案する。 提案手法は,GLUEスコアの1.7ポイントの精度を現行の手法よりも高い精度で達成できる。
  論文  参考訳（メタデータ） (2021-10-28T17:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。