論文の概要: AMAGO-2: Breaking the Multi-Task Barrier in Meta-Reinforcement Learning with Transformers

• arxiv url: http://arxiv.org/abs/2411.11188v1
• Date: Sun, 17 Nov 2024 22:25:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:28:29.607937
• Title: AMAGO-2: Breaking the Multi-Task Barrier in Meta-Reinforcement Learning with Transformers
• Title（参考訳）: AMAGO-2:変換器を用いたメタ強化学習におけるマルチタスクバリアの破壊
• Authors: Jake Grigsby, Justin Sasek, Samyak Parajuli, Daniel Adebi, Amy Zhang, Yuke Zhu,
• Abstract要約: 我々はTransformerベースの(コンテキスト内での)メタRLの最近の進歩の上に構築する。 エージェントのアクターと批評家の目的の両方を分類項に変換する、単純でスケーラブルなソリューションを評価する。 この設計は、明示的なタスクラベルを使わずに、オンラインマルチタスク適応とメモリ問題に大きな進歩をもたらす。
• 参考スコア（独自算出の注目度）: 28.927809804613215
• License:
• Abstract: Language models trained on diverse datasets unlock generalization by in-context learning. Reinforcement Learning (RL) policies can achieve a similar effect by meta-learning within the memory of a sequence model. However, meta-RL research primarily focuses on adapting to minor variations of a single task. It is difficult to scale towards more general behavior without confronting challenges in multi-task optimization, and few solutions are compatible with meta-RL's goal of learning from large training sets of unlabeled tasks. To address this challenge, we revisit the idea that multi-task RL is bottlenecked by imbalanced training losses created by uneven return scales across different tasks. We build upon recent advancements in Transformer-based (in-context) meta-RL and evaluate a simple yet scalable solution where both an agent's actor and critic objectives are converted to classification terms that decouple optimization from the current scale of returns. Large-scale comparisons in Meta-World ML45, Multi-Game Procgen, Multi-Task POPGym, Multi-Game Atari, and BabyAI find that this design unlocks significant progress in online multi-task adaptation and memory problems without explicit task labels.
• Abstract（参考訳）: 多様なデータセットに基づいてトレーニングされた言語モデルは、コンテキスト内学習による一般化を解放する。 強化学習(RL)ポリシは、シーケンスモデルのメモリ内でメタラーニングを行うことによって、同様の効果を達成することができる。 しかし、メタRLの研究は主に1つのタスクの小さなバリエーションに適応することに焦点を当てている。 マルチタスク最適化の課題に直面することなく、より一般的な振る舞いにスケールすることは困難であり、ラベルなしタスクの大規模なトレーニングセットから学習するというメタRLの目標と互換性のあるソリューションはほとんどない。 この課題に対処するために、マルチタスクRLは、異なるタスクにわたる不均一なリターンスケールによって生じるトレーニング損失の不均衡によってボトルネックとなるという考えを再考する。 我々は,TransformerベースのメタRLの最近の進歩を基盤として,エージェントのアクタと批評家の目的の両方を,現在のリターンスケールから最適化を分離する分類項に変換する,シンプルでスケーラブルなソリューションを評価する。 Meta-World ML45、Multi-Game Procgen、Multi-Task POPGym、Multi-Game Atari、BabyAIの大規模な比較では、この設計は明示的なタスクラベルなしで、オンラインマルチタスク適応とメモリ問題において大きな進歩をもたらす。

関連論文リスト

• MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
  本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:47:47Z)
• A Survey of Meta-Reinforcement Learning [69.76165430793571]
  我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。 本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
  論文  参考訳（メタデータ） (2023-01-19T12:01:41Z)
• Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
  本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。 本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
  論文  参考訳（メタデータ） (2022-07-29T14:52:47Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)
• FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization [10.243908145832394]
  本稿では, オフラインメタ強化学習(OMRL)問題について検討する。これは, 強化学習(RL)アルゴリズムが未知のタスクに迅速に適応できるようにするパラダイムである。 この問題はまだ完全には理解されていないが、2つの大きな課題に対処する必要がある。 我々は、いくつかの単純な設計選択が、最近のアプローチよりも大幅に改善できることを示す分析と洞察を提供する。
  論文  参考訳（メタデータ） (2020-10-02T17:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。