論文の概要: Deep Reinforcement Learning with Multitask Episodic Memory Based on
Task-Conditioned Hypernetwork
- arxiv url: http://arxiv.org/abs/2306.10698v1
- Date: Mon, 19 Jun 2023 04:48:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 19:05:08.040213
- Title: Deep Reinforcement Learning with Multitask Episodic Memory Based on
Task-Conditioned Hypernetwork
- Title（参考訳）: Task-Conditioned Hypernetwork に基づくマルチタスクエピソードメモリによる深層強化学習
- Authors: Yonggang Jin, Chenxu Wang, Liuyu Xiang, Yaodong Yang, Jie Fu and
Zhaofeng He
- Abstract要約: 人間は、過去の作業経験から関連する情報を回収するために、海馬に依存している。
エージェントが過去の経験を確立された強化学習アルゴリズムに組み込むための海馬のようなモジュールは2つの課題を提示している。
本稿では,タスク条件付きハイパーネットワークに基づく検索ネットワークを利用した新しいアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 23.783721235590523
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning algorithms are usually impeded by sampling
inefficiency, heavily depending on multiple interactions with the environment
to acquire accurate decision-making capabilities. In contrast, humans seem to
rely on their hippocampus to retrieve relevant information from past
experiences of relevant tasks, which guides their decision-making when learning
a new task, rather than exclusively depending on environmental interactions.
Nevertheless, designing a hippocampus-like module for an agent to incorporate
past experiences into established reinforcement learning algorithms presents
two challenges. The first challenge involves selecting the most relevant past
experiences for the current task, and the second is integrating such
experiences into the decision network. To address these challenges, we propose
a novel algorithm that utilizes a retrieval network based on a task-conditioned
hypernetwork, which adapts the retrieval network's parameters depending on the
task. At the same time, a dynamic modification mechanism enhances the
collaborative efforts between the retrieval and decision networks. We evaluate
the proposed algorithm on the challenging MiniGrid environment. The
experimental results demonstrate that our proposed method significantly
outperforms strong baselines.
- Abstract（参考訳）: 深層強化学習アルゴリズムは通常、正確な意思決定能力を得るために環境と複数の相互作用に依存する非効率のサンプリングによって妨げられる。
対照的に、人間は海馬を頼りに、関連するタスクの過去の経験から関連する情報を取得するように見え、それは、環境の相互作用にのみ依存するのではなく、新しいタスクを学ぶ際の意思決定を導く。
それにもかかわらず、過去の経験を確立された強化学習アルゴリズムに組み込むエージェントのための海馬のようなモジュールの設計には、2つの課題がある。
第1の課題は、現在のタスクで最も重要な過去の経験を選択することであり、第2の課題は、そのような経験を意思決定ネットワークに統合することである。
これらの課題に対処するために,タスク条件付きハイパーネットワークに基づく検索ネットワークを用いて,検索ネットワークのパラメータをタスクに応じて適応させる新しいアルゴリズムを提案する。
同時に,動的修正機構により,検索ネットワークと意思決定ネットワークの協調作業が促進される。
提案手法を課題のミニグリッド環境上で評価する。
実験の結果,提案手法は強いベースラインを著しく上回ることがわかった。
関連論文リスト
- Learning Multi-Task Transferable Rewards via Variational Inverse
Reinforcement Learning [10.782043595405831]
我々は、生成的対向ネットワークの枠組みに基づく複数のタスクを伴う状況に対して、エンパワーメントに基づく正規化手法を拡張した。
未知のダイナミクスを持つマルチタスク環境下では、ラベルのない専門家の例から報酬とポリシーを学ぶことに集中する。
提案手法は, 状況的相互情報の変動的下限を導出し, 最適化する。
論文 参考訳（メタデータ） (2022-06-19T22:32:41Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Skill-based Meta-Reinforcement Learning [65.31995608339962]
本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。
私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
論文 参考訳（メタデータ） (2022-04-25T17:58:19Z) - On the relationship between disentanglement and multi-task learning [62.997667081978825]
ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。
マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
論文 参考訳（メタデータ） (2021-10-07T14:35:34Z) - Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。
合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。
次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文 参考訳（メタデータ） (2021-09-15T21:19:11Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。
深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文 参考訳（メタデータ） (2020-09-10T19:31:04Z) - Importance Weighted Policy Learning and Adaptation [89.46467771037054]
政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。
このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。
提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
論文 参考訳（メタデータ） (2020-09-10T14:16:58Z) - Recurrent Interaction Network for Jointly Extracting Entities and
Classifying Relations [45.79634026256055]
対話を動的に学習できるマルチタスク学習モデルを設計する。
2つの実世界のデータセットに関する実証的研究により、提案モデルの優位性が確認された。
論文 参考訳（メタデータ） (2020-05-01T01:03:16Z) - Learning Context-aware Task Reasoning for Efficient Meta-reinforcement
Learning [29.125234093368732]
本稿では,新しいタスクの学習において,人間レベルの効率を実現するためのメタRL戦略を提案する。
本稿では,メタRL問題をタスク探索,タスク推論,タスク充足という3つのサブタスクに分解する。
提案アルゴリズムは,タスク推論の探索を効果的に行い,トレーニングとテストの双方においてサンプル効率を向上し,メタオーバーフィッティング問題を緩和する。
論文 参考訳（メタデータ） (2020-03-03T07:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。