論文の概要: Hierarchical Transformers are Efficient Meta-Reinforcement Learners
- arxiv url: http://arxiv.org/abs/2402.06402v1
- Date: Fri, 9 Feb 2024 13:40:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 16:53:33.134827
- Title: Hierarchical Transformers are Efficient Meta-Reinforcement Learners
- Title(参考訳): 階層型トランスフォーマーは効果的なメタ強化学習者である
- Authors: Gresa Shala, Andr\'e Biedenkapp, Josif Grabocka
- Abstract要約: 本稿では,メタ強化学習のための階層型トランスフォーマー(HTrMRL)について紹介する。
過去のエピソードが豊富な情報源としてどのように機能するかを実証し、我々のモデルは効果的に蒸留し、新しい文脈に適用する。
- 参考スコア(独自算出の注目度): 19.79721574250755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Hierarchical Transformers for Meta-Reinforcement Learning
(HTrMRL), a powerful online meta-reinforcement learning approach. HTrMRL aims
to address the challenge of enabling reinforcement learning agents to perform
effectively in previously unseen tasks. We demonstrate how past episodes serve
as a rich source of information, which our model effectively distills and
applies to new contexts. Our learned algorithm is capable of outperforming the
previous state-of-the-art and provides more efficient meta-training while
significantly improving generalization capabilities. Experimental results,
obtained across various simulated tasks of the Meta-World Benchmark, indicate a
significant improvement in learning efficiency and adaptability compared to the
state-of-the-art on a variety of tasks. Our approach not only enhances the
agent's ability to generalize from limited data but also paves the way for more
robust and versatile AI systems.
- Abstract(参考訳): 本稿では,メタ強化学習のための階層型トランスフォーマー(HTrMRL)を紹介する。
HTrMRLは、強化学習エージェントがこれまで見つからなかったタスクで効果的に実行できるようにするという課題に対処することを目的としている。
過去のエピソードが豊富な情報源としてどのように機能するかを実証し、我々のモデルは効果的に蒸留し、新しい文脈に適用する。
学習したアルゴリズムは,これまでの最先端を上回ることができ,一般化能力を大幅に向上しながら,より効率的なメタトレーニングを提供する。
meta-worldベンチマークの様々なシミュレーションタスクで得られた実験結果は、様々なタスクの最先端と比較して、学習効率と適応性が著しく向上していることを示している。
我々のアプローチは、限られたデータからエージェントを一般化する能力を高めるだけでなく、より堅牢で汎用的なAIシステムへの道を開く。
関連論文リスト
- Data-Efficient Task Generalization via Probabilistic Model-based Meta
Reinforcement Learning [58.575939354953526]
PACOH-RLはメタ強化学習(Meta-RL)アルゴリズムである。
既存のMeta-RLメソッドは豊富なメタ学習データを必要とし、ロボット工学などの設定で適用性を制限する。
実験の結果,PACOH-RLはモデルベースRLおよびモデルベースMeta-RLベースラインよりも高い性能を示し,新しい動的条件に適応することがわかった。
論文 参考訳(メタデータ) (2023-11-13T18:51:57Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳(メタデータ) (2022-10-11T06:45:15Z) - Enhanced Meta Reinforcement Learning using Demonstrations in Sparse
Reward Environments [10.360491332190433]
Demonstrations を用いた Enhanced Meta-RL というアルゴリズムのクラスを開発する。
本稿では、EMRLDがRLと教師付き学習をオフラインデータ上で併用してメタポリティクスを生成する方法を示す。
また,EMRLDアルゴリズムは,様々なスパース報酬環境における既存手法よりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2022-09-26T22:01:12Z) - Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。
本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
論文 参考訳(メタデータ) (2022-07-29T14:52:47Z) - Learning Action Translator for Meta Reinforcement Learning on
Sparse-Reward Tasks [56.63855534940827]
本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。
理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。
本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
論文 参考訳(メタデータ) (2022-07-19T04:58:06Z) - Transformers are Meta-Reinforcement Learners [0.060917028769172814]
本稿では,トランスアーキテクチャを用いたメモリ再配置機構を模倣したメタRLエージェントTrMRLを提案する。
本稿では,各層におけるベイズリスクを最小限に抑えるコンセンサス表現を自己注意で計算することを示す。
その結果, TrMRLは同等あるいは優れた性能, サンプル効率, アウト・オブ・ディストリビューションの一般化を示すことがわかった。
論文 参考訳(メタデータ) (2022-06-14T06:21:13Z) - On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。
マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
論文 参考訳(メタデータ) (2022-06-07T13:24:00Z) - Improved Context-Based Offline Meta-RL with Attention and Contrastive
Learning [1.3106063755117399]
SOTA OMRLアルゴリズムの1つであるFOCALを、タスク内注意メカニズムとタスク間コントラスト学習目標を組み込むことで改善します。
理論解析と実験を行い、エンドツーエンドおよびモデルフリーの優れた性能、効率、堅牢性を実証します。
論文 参考訳(メタデータ) (2021-02-22T05:05:16Z) - Meta-Reinforcement Learning Robust to Distributional Shift via Model
Identification and Experience Relabeling [126.69933134648541]
本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。
我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
論文 参考訳(メタデータ) (2020-06-12T13:34:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。