論文の概要: Quantifying Task Priority for Multi-Task Optimization

• arxiv url: http://arxiv.org/abs/2406.02996v1
• Date: Wed, 5 Jun 2024 06:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:39:21.350996
• Title: Quantifying Task Priority for Multi-Task Optimization
• Title（参考訳）: マルチタスク最適化のためのタスク優先度の定量化
• Authors: Wooseong Jeong, Kuk-Jin Yoon,
• Abstract要約: マルチタスク学習の目標は、単一の統合ネットワーク内で多様なタスクを学習することである。 マルチタスク学習のための接続強度に基づく最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 44.601029688423914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of multi-task learning is to learn diverse tasks within a single unified network. As each task has its own unique objective function, conflicts emerge during training, resulting in negative transfer among them. Earlier research identified these conflicting gradients in shared parameters between tasks and attempted to realign them in the same direction. However, we prove that such optimization strategies lead to sub-optimal Pareto solutions due to their inability to accurately determine the individual contributions of each parameter across various tasks. In this paper, we propose the concept of task priority to evaluate parameter contributions across different tasks. To learn task priority, we identify the type of connections related to links between parameters influenced by task-specific losses during backpropagation. The strength of connections is gauged by the magnitude of parameters to determine task priority. Based on these, we present a new method named connection strength-based optimization for multi-task learning which consists of two phases. The first phase learns the task priority within the network, while the second phase modifies the gradients while upholding this priority. This ultimately leads to finding new Pareto optimal solutions for multiple tasks. Through extensive experiments, we show that our approach greatly enhances multi-task performance in comparison to earlier gradient manipulation methods.
• Abstract（参考訳）: マルチタスク学習の目標は、単一の統合ネットワーク内で多様なタスクを学習することである。 それぞれのタスクには独自の客観的機能があるため、トレーニング中に対立が生じ、結果として負の移動が発生する。 以前の研究では、タスク間の共有パラメータにおけるこれらの矛盾する勾配を特定し、それらを同じ方向に認識しようとした。 しかし,これらの最適化手法は,各パラメータの個々の寄与を正確に決定できないため,最適でないパレート解に導かれることが証明されている。 本稿では,タスク間のパラメータ寄与を評価するタスク優先度の概念を提案する。 タスクプライオリティを学習するために、バックプロパゲーション中のタスク固有の損失に影響されたパラメータ間のリンクに関連するコネクションの種類を同定する。 接続の強さは、タスク優先度を決定するためにパラメータの大きさによって測定される。 そこで本研究では,2段階からなるマルチタスク学習のための接続強度に基づく最適化手法を提案する。 第1フェーズは、ネットワーク内でタスク優先度を学習し、第2フェーズは、この優先度を維持しながら勾配を変更する。 これは最終的に、複数のタスクに対する新しいPareto最適解を見つけるのに繋がる。 実験により,従来の勾配操作法と比較してマルチタスク性能が大幅に向上したことを示す。

関連論文リスト

• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• Task Weighting through Gradient Projection for Multitask Learning [5.5967570276373655]
  マルチタスク学習では、タスク勾配間の衝突は、モデルのトレーニングパフォーマンスを劣化させる頻繁な問題である。 本研究では,タスク優先順位付けを同時に行うために,グラディエント・プロジェクション・アルゴリズムであるPCGradを適用する手法を提案する。 従来のタスクの重み付けとは違い、重み付け方式は、タスクが矛盾している場合にのみ適用されるが、トレーニングを妨げない場合にのみ適用される。
  論文  参考訳（メタデータ） (2024-09-03T11:17:44Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Leveraging convergence behavior to balance conflicting tasks in multi-task learning [3.6212652499950138]
  マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。 タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。 バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:52:34Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
  マルチタスク学習は強化学習において非常に難しい問題である。 この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。 提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2020-03-30T17:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。