論文の概要: On Context Distribution Shift in Task Representation Learning for Offline Meta RL

• arxiv url: http://arxiv.org/abs/2304.00354v2
• Date: Tue, 23 May 2023 13:14:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 00:06:53.305842
• Title: On Context Distribution Shift in Task Representation Learning for Offline Meta RL
• Title（参考訳）: オフラインメタRLにおけるタスク表現学習における文脈分布シフトについて
• Authors: Chenyang Zhao, Zihao Zhou, Bin Liu
• Abstract要約: 我々は、文脈に基づくOMRL、特にOMRLのタスク表現学習の課題に焦点を当てる。 この問題を解決するために、堅牢なタスクコンテキストエンコーダをトレーニングするためのハードサンプリングベースの戦略を提案する。
• 参考スコア（独自算出の注目度）: 7.8317653074640186
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Offline Meta Reinforcement Learning (OMRL) aims to learn transferable knowledge from offline datasets to enhance the learning process for new target tasks. Context-based Reinforcement Learning (RL) adopts a context encoder to expediently adapt the agent to new tasks by inferring the task representation, and then adjusting the policy based on this inferred representation. In this work, we focus on context-based OMRL, specifically on the challenge of learning task representation for OMRL. We conduct experiments that demonstrate that the context encoder trained on offline datasets might encounter distribution shift between the contexts used for training and testing. To overcome this problem, we present a hard-sampling-based strategy to train a robust task context encoder. Our experimental findings on diverse continuous control tasks reveal that utilizing our approach yields more robust task representations and better testing performance in terms of accumulated returns compared to baseline methods. Our code is available at https://github.com/ZJLAB-AMMI/HS-OMRL.
• Abstract（参考訳）: オフラインメタ強化学習(OMRL)は、オフラインデータセットから転送可能な知識を学び、新しいターゲットタスクの学習プロセスを強化することを目的としている。 context-based reinforcement learning(rl)はコンテキストエンコーダを採用し、タスク表現を推論してエージェントを新しいタスクに即応させ、この推論された表現に基づいてポリシーを調整する。 本研究では,OMRLにおけるタスク表現学習の課題を中心に,文脈に基づくOMRLに注目した。 オフラインデータセットでトレーニングされたコンテキストエンコーダが、トレーニングとテストに使用されるコンテキスト間の分散シフトに遭遇する可能性を実証する実験を行う。 この問題を解決するために,ロバストなタスクコンテキストエンコーダをトレーニングするハードサンプリングベースの戦略を提案する。 連続制御タスクの多種多様な実験結果から,本手法の活用は,ベースライン法と比較して,より堅牢なタスク表現と,累積リターンによるテスト性能をもたらすことが明らかとなった。 私たちのコードはhttps://github.com/ZJLAB-AMMI/HS-OMRLで公開されています。

関連論文リスト

• Unsupervised Meta-Learning via In-Context Learning [3.4165401459803335]
  本稿では,教師なしメタ学習における教師なしメタ学習の一般化能力を活用した新しい手法を提案する。 提案手法は,メタラーニングをシーケンスモデリング問題として再設計し,トランスフォーマーエンコーダがサポート画像からタスクコンテキストを学習できるようにする。
  論文  参考訳（メタデータ） (2024-05-25T08:29:46Z)
• Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
  現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。 本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。 本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:41:36Z)
• Offline Multitask Representation Learning for Reinforcement Learning [86.26066704016056]
  強化学習(RL)におけるオフラインマルチタスク表現学習の研究 オフラインマルチタスク表現学習のための新しいアルゴリズム MORL を提案する。 我々の理論的結果は、ローランクモデルの表現を直接学習するのではなく、上流のオフラインタスクから学習した表現を使用することの利点を実証する。
  論文  参考訳（メタデータ） (2024-03-18T08:50:30Z)
• Context Shift Reduction for Offline Meta-Reinforcement Learning [28.616141112916374]
  コンテキストシフト問題は、トレーニングとテストに使用されるコンテキスト間の分散の相違によって生じる。 既存のOMRLメソッドはこの問題を無視するか、追加情報で軽減しようとする。 OMRL (Context Shift Reduction for OMRL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T03:50:01Z)
• Hypernetworks for Zero-shot Transfer in Reinforcement Learning [21.994654567458017]
  Hypernetworksは、目に見えないさまざまなタスク条件で振る舞いを生成するように訓練されている。 この研究はメタRL、文脈RL、伝達学習に関連している。 提案手法は,マルチタスクおよびメタRLアプローチによるベースラインの大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T15:48:35Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning [21.59254848913971]
  オフラインメタ強化学習は、オフラインデータから学習して新しいタスクに適応する強化学習パラダイムである。 本稿では,学習・テストにおける行動方針の分布に頑健なタスク表現のための対照的な学習フレームワークを提案する。 様々なオフラインメタ強化学習ベンチマークの実験は,従来の手法よりも提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2022-06-21T14:46:47Z)
• Provable Benefits of Representational Transfer in Reinforcement Learning [59.712501044999875]
  本稿では,RLにおける表現伝達の問題について検討し,エージェントがまず複数のソースタスクを事前訓練し,共有表現を発見する。 本稿では,ソースタスクに対する生成的アクセスが与えられた場合,次に続く線形RL手法がほぼ最適ポリシーに迅速に収束する表現を発見できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T04:31:29Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。