Fugu-MT 論文翻訳(概要): Zero-Shot Policy Transfer with Disentangled Task Representation of Meta-Reinforcement Learning

論文の概要: Zero-Shot Policy Transfer with Disentangled Task Representation of Meta-Reinforcement Learning

arxiv url: http://arxiv.org/abs/2210.00350v1
Date: Sat, 1 Oct 2022 19:31:46 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 17:19:13.188612
Title: Zero-Shot Policy Transfer with Disentangled Task Representation of Meta-Reinforcement Learning
Title（参考訳）: メタ強化学習における不連続タスク表現を用いたゼロショットポリシー転送
Authors: Zheng Wu, Yichen Xie, Wenzhao Lian, Changhao Wang, Yanjiang Guo, Jianyu Chen, Stefan Schaal and Masayoshi Tomizuka
Abstract要約: 本研究では,タスク構成性を活用して,強化学習(RL)エージェントのゼロショットポリシーの一般化を実現することを目的とする。提案手法は,タスクの異なる側面を明示的に符号化した,切り離されたタスク表現を持つメタRLアルゴリズムである。政策一般化は、得られた不整合を通して、目に見えない構成的タスク表現を推測することによって行われる。
参考スコア（独自算出の注目度）: 30.633075584454275
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Humans are capable of abstracting various tasks as different combinations of multiple attributes. This perspective of compositionality is vital for human rapid learning and adaption since previous experiences from related tasks can be combined to generalize across novel compositional settings. In this work, we aim to achieve zero-shot policy generalization of Reinforcement Learning (RL) agents by leveraging the task compositionality. Our proposed method is a meta- RL algorithm with disentangled task representation, explicitly encoding different aspects of the tasks. Policy generalization is then performed by inferring unseen compositional task representations via the obtained disentanglement without extra exploration. The evaluation is conducted on three simulated tasks and a challenging real-world robotic insertion task. Experimental results demonstrate that our proposed method achieves policy generalization to unseen compositional tasks in a zero-shot manner.
Abstract（参考訳）: 人間は様々なタスクを複数の属性の異なる組み合わせとして抽象化することができる。この構成性という視点は、人間の素早い学習と適応に不可欠である。なぜなら、関連するタスクからの経験を組み合わせることで、新しい構成設定を一般化することができるからである。本研究では,タスク構成性を活用した強化学習(RL)エージェントのゼロショットポリシーの一般化を目指す。提案手法は,タスクの異なる側面を明示的にエンコードする,タスク表現の絡み合ったメタrlアルゴリズムである。政策一般化は、余分な探索をせずに得られる非可視な構成的タスク表現を導出することによって行われる。 3つのシミュレーション課題と実世界のロボット挿入課題について評価を行った。実験の結果,提案手法はゼロショット方式で非知覚合成タスクに対するポリシー一般化を実現することが示された。

関連論文リスト

Decoupling Meta-Reinforcement Learning with Gaussian Task Contexts and Skills [17.666749042008178]
本稿では,DCMRL(Decoupled Meta-Reinforcement Learning)というフレームワークを提案する。 DCMRLは、同じタスク内で同様のタスクコンテキストを取り出し、異なるタスクの異なるタスクコンテキストをプッシュします。実験により、DCMRLは従来のメタRL法よりも有効であり、より一般化可能な事前経験を持つことが示された。
論文参考訳（メタデータ） (2023-12-11T16:50:14Z)
Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。本稿では、経験的および理論的分析を通して、この見解に挑戦する。
論文参考訳（メタデータ） (2023-07-18T01:53:18Z)
Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
論文参考訳（メタデータ） (2023-05-11T17:57:49Z)
Robust Subtask Learning for Compositional Generalization [20.54144051436337]
我々は、どんなタスクでも実行できるように、サブタスクポリシーをトレーニングする問題に焦点を合わせます。我々は、平均的なケースのパフォーマンスとは対照的に、すべてのタスクで最悪のケースのパフォーマンスを最大化することを目指している。
論文参考訳（メタデータ） (2023-02-06T18:19:25Z)
Continual Vision-based Reinforcement Learning with Group Symmetries [18.7526848176769]
我々は,COVERSと呼ばれるグループ対称性を認識する,ユニークな連続視覚に基づく強化学習手法を提案する。その結果, COVERS は各グループにタスクを正確に割り当て, 一般化能力において既存手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-21T23:41:02Z)
Inferring Versatile Behavior from Demonstrations by Matching Geometric Descriptors [72.62423312645953]
人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
論文参考訳（メタデータ） (2022-10-17T16:42:59Z)
CompoSuite: A Compositional Reinforcement Learning Benchmark [20.89464587308586]
合成マルチタスク強化学習(RL)のためのオープンソースのベンチマークであるCompoSuiteを提案する。それぞれのCompoSuiteタスクは、障害物を避けながらタスク目標を達成するために、特定のロボットアームが1つの個々のオブジェクトを操作する必要がある。我々は,既存のシングルタスク,マルチタスク,コンポジション学習のアルゴリズムを,様々なトレーニング設定でベンチマークし,それらが目に見えないタスクに合成的に一般化する能力を評価する。
論文参考訳（メタデータ） (2022-07-08T22:01:52Z)
Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文参考訳（メタデータ） (2022-05-25T10:44:25Z)
Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文参考訳（メタデータ） (2021-12-02T18:59:50Z)
Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文参考訳（メタデータ） (2021-11-09T18:49:45Z)
Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-06-04T20:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。