Fugu-MT 論文翻訳(概要): Learn Dynamic-Aware State Embedding for Transfer Learning

論文の概要: Learn Dynamic-Aware State Embedding for Transfer Learning

arxiv url: http://arxiv.org/abs/2101.02230v1
Date: Wed, 6 Jan 2021 19:07:31 GMT
ステータス: 処理完了
システム内更新日: 2021-04-11 02:47:56.272123
Title: Learn Dynamic-Aware State Embedding for Transfer Learning
Title（参考訳）: 転校学習のための動的認識状態埋め込みの学習
Authors: Kaige Yang
Abstract要約: 報酬機能以外のすべてのタスク(MDP)が同じ環境を動的に共有する設定を検討します。この設定では、MDPのダイナミクスは、一様ランダムなポリシーによって推測できる、転送のよい知識である。我々は、一様ランダムポリシーの必要性を避けるため、任意のポリシーの軌跡からバイナリMDPのダイナミクスを推定できることを観察する。
参考スコア（独自算出の注目度）: 0.8756822885568589
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transfer reinforcement learning aims to improve the sample efficiency of solving unseen new tasks by leveraging experiences obtained from previous tasks. We consider the setting where all tasks (MDPs) share the same environment dynamic except reward function. In this setting, the MDP dynamic is a good knowledge to transfer, which can be inferred by uniformly random policy. However, trajectories generated by uniform random policy are not useful for policy improvement, which impairs the sample efficiency severely. Instead, we observe that the binary MDP dynamic can be inferred from trajectories of any policy which avoids the need of uniform random policy. As the binary MDP dynamic contains the state structure shared over all tasks we believe it is suitable to transfer. Built on this observation, we introduce a method to infer the binary MDP dynamic on-line and at the same time utilize it to guide state embedding learning, which is then transferred to new tasks. We keep state embedding learning and policy learning separately. As a result, the learned state embedding is task and policy agnostic which makes it ideal for transfer learning. In addition, to facilitate the exploration over the state space, we propose a novel intrinsic reward based on the inferred binary MDP dynamic. Our method can be used out-of-box in combination with model-free RL algorithms. We show two instances on the basis of \algo{DQN} and \algo{A2C}. Empirical results of intensive experiments show the advantage of our proposed method in various transfer learning tasks.
Abstract（参考訳）: トランスファー強化学習は、以前のタスクから得られた経験を活用して、目に見えない新しいタスクを解決するサンプル効率を向上させることを目的としている。報酬関数を除く全てのタスク(MDP)が同じ環境を共有できるような設定を考える。この設定では、MDPのダイナミクスは、一様ランダムなポリシーによって推測できる、転送のよい知識である。しかし、一様無作為政策によって生成される軌道は政策改善に役立たず、サンプル効率を著しく損なう。代わりに、バイナリmdpダイナミックは、均一なランダムポリシーの必要性を避ける任意のポリシーの軌跡から推測できると観察する。バイナリMDPダイナミックは、すべてのタスクで共有される状態構造を含んでいるので、転送には適していると考えています。この観察に基づいて,二進法mdp動的オンラインを推定する手法と,それを利用して状態埋め込み学習のガイドを行い,それを新しいタスクに転送する手法を提案する。我々は国家の埋め込み学習と政策学習を別々に維持する。その結果、学習状態の埋め込みはタスクとポリシーに依存しないため、転送学習に理想的です。さらに, 状態空間の探索を容易にするため, 推定された二分法mdpダイナミックに基づく新たな固有報酬を提案する。提案手法はモデルフリーなRLアルゴリズムと組み合わせて利用できる。 2つのインスタンスを \algo{dqn} と \algo{a2c} に基づいて示す。集中実験の結果,様々な転校学習タスクにおいて提案手法の利点が示された。

関連論文リスト

Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文参考訳（メタデータ） (2023-06-06T02:24:41Z)
Goal-Conditioned Imitation Learning using Score-based Diffusion Policies [3.49482137286472]
スコアベース拡散モデル(SDM)に基づく新しいポリシー表現を提案する。我々はゴール・コンディションド・イミテーション・ラーニング(GCIL)の領域に新しい政策表現を適用した。直感的なガイダンスを用いて,遊びデータから目標に依存しないポリシーを学習するためにBESOをどのように利用できるかを示す。
論文参考訳（メタデータ） (2023-04-05T15:52:34Z)
Hypernetworks for Zero-shot Transfer in Reinforcement Learning [21.994654567458017]
Hypernetworksは、目に見えないさまざまなタスク条件で振る舞いを生成するように訓練されている。この研究はメタRL、文脈RL、伝達学習に関連している。提案手法は,マルチタスクおよびメタRLアプローチによるベースラインの大幅な改善を示す。
論文参考訳（メタデータ） (2022-11-28T15:48:35Z)
Exploration via Planning for Information about the Optimal Trajectory [67.33886176127578]
我々は,タスクと現在の知識を考慮に入れながら,探索を計画できる手法を開発した。本手法は, 探索基準値よりも2倍少ないサンプルで, 強いポリシーを学習できることを実証する。
論文参考訳（メタデータ） (2022-10-06T20:28:55Z)
Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文参考訳（メタデータ） (2021-05-03T07:23:39Z)
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
論文参考訳（メタデータ） (2021-02-24T21:12:09Z)
Fast Adaptation via Policy-Dynamics Value Functions [41.738462615120326]
本稿では,従来のトレーニングと異なる動的に迅速に適応するための新しいアプローチとして,ポリシ・ダイナミックス値関数(PD-VF)を紹介する。 PD-VFは、ポリシーと環境の空間における累積報酬を明示的に推定する。提案手法は, MuJoCo ドメインの集合上で, 新たな動的処理に迅速に適応可能であることを示す。
論文参考訳（メタデータ） (2020-07-06T16:47:56Z)
Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
論文参考訳（メタデータ） (2020-06-12T13:34:46Z)
Contextual Policy Transfer in Reinforcement Learning Domains via Deep Mixtures-of-Experts [24.489002406693128]
そこで本稿では,タスクのダイナミクスに関する状態依存的信念を学習するための,新しいミックス・オブ・エキスパートの定式化について紹介する。我々は、このモデルを標準ポリシー再利用フレームワークに組み込む方法を示す。
論文参考訳（メタデータ） (2020-02-29T07:58:36Z)
Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。