論文の概要: Shared-unique Features and Task-aware Prioritized Sampling on Multi-task Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2406.00761v1
- Date: Sun, 2 Jun 2024 14:33:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 03:36:42.515622
- Title: Shared-unique Features and Task-aware Prioritized Sampling on Multi-task Reinforcement Learning
- Title（参考訳）: マルチタスク強化学習における共通特徴とタスク認識優先サンプリング
- Authors: Po-Shao Lin, Jia-Fong Yeh, Yi-Ting Chen, Winston H. Hsu,
- Abstract要約: 現在のSOTA(State-of-the-art)手法は、強化学習タスクの実行時の性能不均衡の問題に悩まされている。
本稿では,2つの新しい戦略からなるSTARSという手法を提案する。
まず、共有共通機能抽出器は、共有機能とタスク固有の機能の両方を学び、異なるタスク間の知識の相乗効果を向上させる。
第2に、タスク対応サンプリング戦略と優先された体験リプレイを組み合わせることで、パフォーマンスの悪いタスクを効率的に学習する。
- 参考スコア（独自算出の注目度）: 23.71357495734367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We observe that current state-of-the-art (SOTA) methods suffer from the performance imbalance issue when performing multi-task reinforcement learning (MTRL) tasks. While these methods may achieve impressive performance on average, they perform extremely poorly on a few tasks. To address this, we propose a new and effective method called STARS, which consists of two novel strategies: a shared-unique feature extractor and task-aware prioritized sampling. First, the shared-unique feature extractor learns both shared and task-specific features to enable better synergy of knowledge between different tasks. Second, the task-aware sampling strategy is combined with the prioritized experience replay for efficient learning on tasks with poor performance. The effectiveness and stability of our STARS are verified through experiments on the mainstream Meta-World benchmark. From the results, our STARS statistically outperforms current SOTA methods and alleviates the performance imbalance issue. Besides, we visualize the learned features to support our claims and enhance the interpretability of STARS.
- Abstract（参考訳）: マルチタスク強化学習(MTRL)タスクの実行において,現在のSOTA(State-of-the-art)手法が性能不均衡の問題に悩まされていることを観察する。
これらの手法は平均して印象的なパフォーマンスを達成できるかもしれないが、いくつかのタスクでは極めて低パフォーマンスである。
そこで本研究では,共有型特徴抽出器とタスク認識型優先サンプリングの2つの新しい手法であるSTARSを提案する。
まず、共有共通機能抽出器は、共有機能とタスク固有の機能の両方を学び、異なるタスク間の知識の相乗効果を向上させる。
第2に、タスク対応サンプリング戦略と優先された体験リプレイを組み合わせることで、パフォーマンスの悪いタスクを効率的に学習する。
STARSの有効性と安定性は,メインストリームのMeta-Worldベンチマークを用いて検証した。
その結果、STARSは現在のSOTA法よりも統計的に優れ、性能不均衡の問題を軽減することができた。
さらに、学習した特徴を可視化してクレームをサポートし、STARSの解釈可能性を高める。
関連論文リスト
- Sample Efficient Myopic Exploration Through Multitask Reinforcement
Learning with Diverse Tasks [53.44714413181162]
本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。
我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
論文 参考訳（メタデータ） (2024-03-03T22:57:44Z) - Sharing Knowledge in Multi-Task Deep Reinforcement Learning [57.38874587065694]
マルチタスク強化学習において、ディープニューラルネットワークを効果的に活用するためのタスク間の表現の共有の利点について検討する。
我々は,タスク間で表現を共有するのに便利な条件を強調する理論的保証を提供することで,これを証明している。
論文 参考訳（メタデータ） (2024-01-17T19:31:21Z) - Task Selection and Assignment for Multi-modal Multi-task Dialogue Act
Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。
これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。
本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
論文 参考訳（メタデータ） (2023-09-18T14:51:51Z) - Meta-Reinforcement Learning Based on Self-Supervised Task Representation
Learning [23.45043290237396]
MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。
MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
論文 参考訳（メタデータ） (2023-04-29T15:46:19Z) - Continual Vision-based Reinforcement Learning with Group Symmetries [18.7526848176769]
我々は,COVERSと呼ばれるグループ対称性を認識する,ユニークな連続視覚に基づく強化学習手法を提案する。
その結果, COVERS は各グループにタスクを正確に割り当て, 一般化能力において既存手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-10-21T23:41:02Z) - Task-Agnostic Continual Reinforcement Learning: Gaining Insights and
Overcoming Challenges [27.474011433615317]
連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。
タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
論文 参考訳（メタデータ） (2022-05-28T17:59:00Z) - Active Multi-Task Representation Learning [50.13453053304159]
本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。
提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
論文 参考訳（メタデータ） (2022-02-02T08:23:24Z) - Transfer Learning in Conversational Analysis through Reusing
Preprocessing Data as Supervisors [52.37504333689262]
単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。
補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2021-12-02T08:40:42Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Efficient Reinforcement Learning in Resource Allocation Problems Through
Permutation Invariant Multi-task Learning [6.247939901619901]
特定の環境では、利用可能なデータはマルチタスク学習の形式で劇的に向上できることを示す。
我々は,この条件下でのサンプル効率の利得に結びついた理論的性能を提供する。
これは、適切なニューラルネットワークアーキテクチャの設計と優先順位付けされたタスクサンプリング戦略を含む、マルチタスク学習への新しいアプローチを動機付ける。
論文 参考訳（メタデータ） (2021-02-18T14:13:02Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。