論文の概要: PaCo: Parameter-Compositional Multi-Task Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2210.11653v1
- Date: Fri, 21 Oct 2022 01:00:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 14:08:38.425584
- Title: PaCo: Parameter-Compositional Multi-Task Reinforcement Learning
- Title(参考訳): PaCo:パラメータ合成多タスク強化学習
- Authors: Lingfeng Sun, Haichao Zhang, Wei Xu, Masayoshi Tomizuka
- Abstract要約: これらの課題に対処するために,パラメータ合成アプローチ(PaCo)を導入する。
すべての単一タスクに対するポリシーはこの部分空間にあり、学習された集合と補間することで構成できる。
メタワールドベンチマークの最先端性能を実証し,提案手法の有効性を検証した。
- 参考スコア(独自算出の注目度): 44.43196786555784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The purpose of multi-task reinforcement learning (MTRL) is to train a single
policy that can be applied to a set of different tasks. Sharing parameters
allows us to take advantage of the similarities among tasks. However, the gaps
between contents and difficulties of different tasks bring us challenges on
both which tasks should share the parameters and what parameters should be
shared, as well as the optimization challenges due to parameter sharing. In
this work, we introduce a parameter-compositional approach (PaCo) as an attempt
to address these challenges. In this framework, a policy subspace represented
by a set of parameters is learned. Policies for all the single tasks lie in
this subspace and can be composed by interpolating with the learned set. It
allows not only flexible parameter sharing but also a natural way to improve
training. We demonstrate the state-of-the-art performance on Meta-World
benchmarks, verifying the effectiveness of the proposed approach.
- Abstract(参考訳): マルチタスク強化学習(MTRL)の目的は、一連の異なるタスクに適用可能な単一のポリシーを訓練することである。
パラメータを共有することで、タスク間の類似性を活用できます。
しかし、異なるタスクの内容と難易度の間のギャップは、どのタスクがパラメータを共有するべきか、どのパラメータを共有するべきか、そしてパラメータ共有による最適化の課題の両方に課題をもたらす。
本研究では,これらの課題に対処するためのパラメータ合成アプローチ(PaCo)を提案する。
このフレームワークでは、パラメータの集合で表されるポリシーサブスペースが学習される。
すべての単一タスクに対するポリシーはこの部分空間にあり、学習された集合と補間することで構成できる。
柔軟なパラメータ共有だけでなく、トレーニングを改善する自然な方法も可能にする。
メタワールドベンチマークの最先端性能を実証し,提案手法の有効性を検証する。
関連論文リスト
- InterroGate: Learning to Share, Specialize, and Prune Representations
for Multi-task Learning [17.66308231838553]
推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。
学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
論文 参考訳(メタデータ) (2024-02-26T18:59:52Z) - Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [68.8128246362533]
異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。
本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
我々の重要な洞察は、共有知識とタスク固有の知識を識別して分離し、それらを動的に統合することで、パラメータ干渉問題を大幅に緩和できるということです。
論文 参考訳(メタデータ) (2024-02-01T08:58:57Z) - DynaShare: Task and Instance Conditioned Parameter Sharing for
Multi-Task Learning [11.955637263520492]
マルチタスク学習のための新しいパラメータ共有手法を提案する。
本稿では,タスクと入力インスタンスの両方に基づいて,ネットワークのどの部分をアクティブにするかを動的に決定する。
提案手法は,個別入力インスタンスの粗い層選択とゲーティングユニットのためのタスク固有のポリシーからなる階層的ゲーティングポリシーを学習する。
論文 参考訳(メタデータ) (2023-05-26T23:43:21Z) - Task Difficulty Aware Parameter Allocation & Regularization for Lifelong
Learning [20.177260510548535]
本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。
提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
論文 参考訳(メタデータ) (2023-04-11T15:38:21Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳(メタデータ) (2022-10-18T11:20:54Z) - Hybrid Relation Guided Set Matching for Few-shot Action Recognition [51.3308583226322]
本稿では,2つの鍵成分を組み込んだHybrid Relation Guided Set Matching (HyRSM) 手法を提案する。
ハイブリッドリレーションモジュールの目的は、エピソード内の関連関係とクロスビデオの完全活用により、タスク固有の埋め込みを学習することである。
我々は,HyRSMを6つの挑戦的ベンチマークで評価した。
論文 参考訳(メタデータ) (2022-04-28T11:43:41Z) - Conditional Meta-Learning of Linear Representations [57.90025697492041]
表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。
本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。
この利点を実用的に活用できるメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-30T12:02:14Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳(メタデータ) (2020-08-13T10:45:31Z) - Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
マルチタスク学習は強化学習において非常に難しい問題である。
この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。
提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
論文 参考訳(メタデータ) (2020-03-30T17:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。