論文の概要: Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination

• arxiv url: http://arxiv.org/abs/2311.06673v1
• Date: Sat, 11 Nov 2023 22:05:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 17:32:50.563434
• Title: Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination
• Title（参考訳）: 適応への夢:潜在文脈イマジネーションとMDPイマジネーションによるメタ強化学習
• Authors: Lu Wen, Songan Zhang, H. Eric Tseng, Huei Peng
• Abstract要約: 本稿では,実際のトレーニングタスクやデータが少ないメタRLアルゴリズムであるMetaDreamerを提案する。 我々は,学習した潜在コンテキスト空間と非絡み合い特性を補間することによりメタ想像を行い,生成世界モデルによるMDP想像を行う。
• 参考スコア（独自算出の注目度）: 15.599393996133715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta reinforcement learning (Meta RL) has been amply explored to quickly learn an unseen task by transferring previously learned knowledge from similar tasks. However, most state-of-the-art algorithms require the meta-training tasks to have a dense coverage on the task distribution and a great amount of data for each of them. In this paper, we propose MetaDreamer, a context-based Meta RL algorithm that requires less real training tasks and data by doing meta-imagination and MDP-imagination. We perform meta-imagination by interpolating on the learned latent context space with disentangled properties, as well as MDP-imagination through the generative world model where physical knowledge is added to plain VAE networks. Our experiments with various benchmarks show that MetaDreamer outperforms existing approaches in data efficiency and interpolated generalization.
• Abstract（参考訳）: メタ強化学習(Meta RL)は、類似したタスクから学習した知識を伝達することによって、目立たないタスクを素早く学習するために、十分に研究されている。 しかし、ほとんどの最先端のアルゴリズムでは、メタトレーニングタスクはタスクの分散を密にカバーし、それぞれに大量のデータを必要とする。 本稿では,メタ想像とMDP想像を行うことにより,実際のトレーニング作業やデータが少ないコンテキストベースのメタRLアルゴリズムであるMetaDreamerを提案する。 我々は,不連続な性質を持つ学習された潜在コンテキスト空間を補間し,物理的知識をプレーンvaeネットワークに追加する生成世界モデルを通じてmdpを補間することでメタイマジネーションを行う。 様々なベンチマークによる実験により,MetaDreamerはデータ効率と補間一般化の既存手法より優れていることが示された。

関連論文リスト

• DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning [55.733193075728096]
  メタ学習を改善するメタ知識情報メタラーニング(MKIML)フレームワークを提案する。 適切なメタレギュラー化(MR)目標を用いて,メタ知識をメタオブジェクトに統合する。 提案したDAC-MRは、ノイズ、スパース、あるいは利用できないメタデータのトレーニングタスクから、良好なパフォーマンスのメタモデルを学ぶことを期待している。
  論文  参考訳（メタデータ） (2023-05-13T11:01:47Z)
• Enhanced Meta Reinforcement Learning using Demonstrations in Sparse Reward Environments [10.360491332190433]
  Demonstrations を用いた Enhanced Meta-RL というアルゴリズムのクラスを開発する。 本稿では、EMRLDがRLと教師付き学習をオフラインデータ上で併用してメタポリティクスを生成する方法を示す。 また,EMRLDアルゴリズムは,様々なスパース報酬環境における既存手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-26T22:01:12Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• MELD: Meta-Reinforcement Learning from Images via Latent State Models [109.1664295663325]
  我々は,遅延状態モデルで推論を行う画像からメタRLのアルゴリズムを開発し,新しいスキルを素早く獲得する。 MELDは、画像から現実のロボット制御設定でトレーニングされた最初のメタRLアルゴリズムである。
  論文  参考訳（メタデータ） (2020-10-26T23:50:30Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Towards Effective Context for Meta-Reinforcement Learning: an Approach based on Contrastive Learning [33.19862944149082]
  CCM(Contrastive Learning augmented Context-based Meta-RL)と呼ばれる新しいメタRLフレームワークを提案する。 まず、異なるタスクの背後にある対照的な性質に注目し、それを活用して、コンパクトで十分なコンテキストエンコーダをトレーニングします。 我々は,情報ゲインに基づく新たな目的を導出し,いくつかのステップで情報トラジェクトリを収集する。
  論文  参考訳（メタデータ） (2020-09-29T09:29:18Z)
• MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration [52.48362697163477]
  実験により,我々のメタRL法はスパース・リワードタスクにおける最先端のベースラインを著しく上回ることがわかった。 本稿では,活用政策学習とは切り離されたメタRLの探索政策学習問題をモデル化する。 我々は、コンテキスト対応の探索と利用ポリシーを効率よく学習する、新しい非政治メタRLフレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-15T06:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。