論文の概要: Efficient Multi-Task Reinforcement Learning via Selective Behavior
Sharing
- arxiv url: http://arxiv.org/abs/2302.00671v1
- Date: Wed, 1 Feb 2023 18:58:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 12:41:06.246333
- Title: Efficient Multi-Task Reinforcement Learning via Selective Behavior
Sharing
- Title(参考訳): 選択行動共有による効率的なマルチタスク強化学習
- Authors: Grace Zhang, Ayush Jain, Injune Hwang, Shao-Hua Sun, Joseph J. Lim
- Abstract要約: 本稿では,タスク上の共有行動を特定し,探索をガイドするためのフレームワークを提案する。
動作共有がMTRLタスクの操作およびナビゲーションにおけるサンプル効率と最終性能をどのように改善するかを実証的に示す。
- 参考スコア(独自算出の注目度): 31.32009016018142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to leverage shared behaviors between tasks is critical for
sample-efficient multi-task reinforcement learning (MTRL). While prior methods
have primarily explored parameter and data sharing, direct behavior-sharing has
been limited to task families requiring similar behaviors. Our goal is to
extend the efficacy of behavior-sharing to more general task families that
could require a mix of shareable and conflicting behaviors. Our key insight is
an agent's behavior across tasks can be used for mutually beneficial
exploration. To this end, we propose a simple MTRL framework for identifying
shareable behaviors over tasks and incorporating them to guide exploration. We
empirically demonstrate how behavior sharing improves sample efficiency and
final performance on manipulation and navigation MTRL tasks and is even
complementary to parameter sharing. Result videos are available at
https://sites.google.com/view/qmp-mtrl.
- Abstract(参考訳): タスク間の共有行動を活用する能力は、サンプル効率のよいマルチタスク強化学習(MTRL)において重要である。
従来の手法は主にパラメータとデータ共有を探索してきたが、直接的な行動共有は同様の振る舞いを必要とするタスクファミリーに限られていた。
私たちのゴールは、行動共有の効果を、共有可能な行動と矛盾する行動の混合を必要とする、より一般的なタスクファミリーに拡張することです。
我々の重要な洞察は、エージェントのタスクにわたる振る舞いは、相互に有益な探索に使用できることである。
この目的のために,タスク上の共有可能な振る舞いを識別し,探索のガイドとして組み込むためのシンプルなMTRLフレームワークを提案する。
動作共有がMTRLタスクの操作およびナビゲーションにおけるサンプル効率と最終性能をどのように改善するかを実証的に実証し,パラメータ共有を補完する。
結果ビデオはhttps://sites.google.com/view/qmp-mtrl.comで閲覧できる。
関連論文リスト
- Sample Efficient Myopic Exploration Through Multitask Reinforcement
Learning with Diverse Tasks [53.44714413181162]
本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。
我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
論文 参考訳(メタデータ) (2024-03-03T22:57:44Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Unsupervised Reinforcement Learning for Transferable Manipulation Skill
Discovery [22.32327908453603]
ロボット工学における現在の強化学習(RL)は、しばしば新しい下流タスクへの一般化の難しさを経験する。
本稿では,タスク固有の報酬にアクセスできることなく,タスクに依存しない方法でエージェントを事前訓練するフレームワークを提案する。
提案手法は,最も多様なインタラクション動作を実現し,下流タスクのサンプル効率を大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-04-29T06:57:46Z) - Leveraging convergence behavior to balance conflicting tasks in
multi-task learning [3.6212652499950138]
マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。
タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。
バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
論文 参考訳(メタデータ) (2022-04-14T01:52:34Z) - Modular Adaptive Policy Selection for Multi-Task Imitation Learning
through Task Division [60.232542918414985]
マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。
これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。
また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
論文 参考訳(メタデータ) (2022-03-28T15:53:17Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳(メタデータ) (2021-05-08T22:26:52Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2020-11-19T18:47:40Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。