論文の概要: AMAGO: Scalable In-Context Reinforcement Learning for Adaptive Agents

• arxiv url: http://arxiv.org/abs/2310.09971v2
• Date: Sun, 5 Nov 2023 04:23:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 20:11:08.471249
• Title: AMAGO: Scalable In-Context Reinforcement Learning for Adaptive Agents
• Title（参考訳）: AMAGO: 適応エージェントのためのスケーラブルなインコンテキスト強化学習
• Authors: Jake Grigsby, Linxi Fan, Yuke Zhu
• Abstract要約: 本稿では、系列モデルを用いて、一般化、長期記憶、メタ学習の課題に取り組む、コンテキスト内強化学習エージェントであるAMAGOを紹介する。 私たちのエージェントはユニークにスケーラブルで、幅広い問題に適用できます。
• 参考スコア（独自算出の注目度）: 36.71024242963793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce AMAGO, an in-context Reinforcement Learning (RL) agent that uses sequence models to tackle the challenges of generalization, long-term memory, and meta-learning. Recent works have shown that off-policy learning can make in-context RL with recurrent policies viable. Nonetheless, these approaches require extensive tuning and limit scalability by creating key bottlenecks in agents' memory capacity, planning horizon, and model size. AMAGO revisits and redesigns the off-policy in-context approach to successfully train long-sequence Transformers over entire rollouts in parallel with end-to-end RL. Our agent is uniquely scalable and applicable to a wide range of problems. We demonstrate its strong performance empirically in meta-RL and long-term memory domains. AMAGO's focus on sparse rewards and off-policy data also allows in-context learning to extend to goal-conditioned problems with challenging exploration. When combined with a novel hindsight relabeling scheme, AMAGO can solve a previously difficult category of open-world domains, where agents complete many possible instructions in procedurally generated environments. We evaluate our agent on three goal-conditioned domains and study how its individual improvements connect to create a generalist policy.
• Abstract（参考訳）: 汎用化,長期記憶,メタラーニングといった課題に取り組むために,シーケンスモデルを用いたインコンテキスト強化学習(rl)エージェントであるamagoを紹介する。 近年の研究では、非政治的な学習によって、反復的なポリシーでコンテキスト内RLが実現可能であることが示されている。 それでもこれらのアプローチは、エージェントのメモリ容量、計画的地平線、モデルサイズに重要なボトルネックを生じさせることによって、広範なチューニングとスケーラビリティの制限を必要とする。 AMAGOは、エンド・ツー・エンドのRLと並行して、ロングシーケンス・トランスフォーマーをロールアウト全体にわたってトレーニングする、オフ・ポリシー・イン・コンテクストのアプローチを再検討し、再設計する。 私たちのエージェントはユニークにスケーラブルで、幅広い問題に適用できます。 メタRLと長期記憶領域において,その性能を実証的に示す。 AMAGOはスパース報酬や政治外のデータに重点を置いているため、コンテキスト内学習は探索に挑戦しながらゴール条件付き問題にまで拡張することができる。 アマゴは、新しい後見リラベリングスキームと組み合わせることで、従来困難だったオープンワールドドメインのカテゴリを解決し、エージェントは手続き的に生成された環境で多くの可能な命令を完了できる。 我々は,3つの目標条件ドメインについてエージェントを評価し,その個々の改善がいかにコネクトしてジェネラリスト政策を創りだすかを検討する。

関連論文リスト

• AMAGO-2: Breaking the Multi-Task Barrier in Meta-Reinforcement Learning with Transformers [28.927809804613215]
  我々はTransformerベースの(コンテキスト内での)メタRLの最近の進歩の上に構築する。 エージェントのアクターと批評家の目的の両方を分類項に変換する、単純でスケーラブルなソリューションを評価する。 この設計は、明示的なタスクラベルを使わずに、オンラインマルチタスク適応とメモリ問題に大きな進歩をもたらす。
  論文  参考訳（メタデータ） (2024-11-17T22:25:40Z)
• Reinforcement Learning for Dynamic Memory Allocation [0.0]
  本稿では,RLエージェントがシステムとのインタラクションから連続的に学習し,メモリ管理の戦術を改善する枠組みを提案する。 その結果、RLは従来のアロケーション戦略にマッチし、超えるエージェントを訓練できることがわかった。 また,アロケータの複雑な要求パターン処理能力を高めるために,従来のアロケーション要求を利用した履歴対応ポリシの可能性についても検討する。
  論文  参考訳（メタデータ） (2024-10-20T20:13:46Z)
• Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
  決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。 雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。 この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
  論文  参考訳（メタデータ） (2024-06-08T10:12:00Z)
• Hierarchical Continual Reinforcement Learning via Large Language Model [15.837883929274758]
  Hi-Coreはハイレベルな知識の伝達を容易にするように設計されている。 大規模言語モデル(LLM)による高レベルポリシー定式化 Hi-Coreは様々なCRLタスクの処理の有効性を示しており、一般的なベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-01-25T03:06:51Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• A Survey of Meta-Reinforcement Learning [69.76165430793571]
  我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。 本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
  論文  参考訳（メタデータ） (2023-01-19T12:01:41Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization [10.243908145832394]
  本稿では, オフラインメタ強化学習(OMRL)問題について検討する。これは, 強化学習(RL)アルゴリズムが未知のタスクに迅速に適応できるようにするパラダイムである。 この問題はまだ完全には理解されていないが、2つの大きな課題に対処する必要がある。 我々は、いくつかの単純な設計選択が、最近のアプローチよりも大幅に改善できることを示す分析と洞察を提供する。
  論文  参考訳（メタデータ） (2020-10-02T17:13:39Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。