論文の概要: Leveraging convergence behavior to balance conflicting tasks in
multi-task learning
- arxiv url: http://arxiv.org/abs/2204.06698v1
- Date: Thu, 14 Apr 2022 01:52:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-16 02:08:57.844797
- Title: Leveraging convergence behavior to balance conflicting tasks in
multi-task learning
- Title（参考訳）: マルチタスク学習における収束行動の活用による相反するタスクのバランス
- Authors: Angelica Tiemi Mizuno Nakamura, Denis Fernando Wolf, Valdir Grassi Jr
- Abstract要約: マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。
タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。
バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
- 参考スコア（独自算出の注目度）: 3.6212652499950138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-Task Learning is a learning paradigm that uses correlated tasks to
improve performance generalization. A common way to learn multiple tasks is
through the hard parameter sharing approach, in which a single architecture is
used to share the same subset of parameters, creating an inductive bias between
them during the training process. Due to its simplicity, potential to improve
generalization, and reduce computational cost, it has gained the attention of
the scientific and industrial communities. However, tasks often conflict with
each other, which makes it challenging to define how the gradients of multiple
tasks should be combined to allow simultaneous learning. To address this
problem, we use the idea of multi-objective optimization to propose a method
that takes into account temporal behaviour of the gradients to create a dynamic
bias that adjust the importance of each task during the backpropagation. The
result of this method is to give more attention to the tasks that are diverging
or that are not being benefited during the last iterations, allowing to ensure
that the simultaneous learning is heading to the performance maximization of
all tasks. As a result, we empirically show that the proposed method
outperforms the state-of-art approaches on learning conflicting tasks. Unlike
the adopted baselines, our method ensures that all tasks reach good
generalization performances.
- Abstract（参考訳）: マルチタスク学習は、相関タスクを使用してパフォーマンスの一般化を改善する学習パラダイムである。
複数のタスクを学習する一般的な方法は、単一のアーキテクチャを使ってパラメータのサブセットを共有し、トレーニングプロセス中にそれら間で帰納的バイアスを発生させる、ハードパラメータ共有アプローチである。
その単純さ、一般化の改善の可能性、計算コストの削減により、科学と産業のコミュニティの注目を集めている。
しかし、タスクは互いに矛盾することが多く、同時に学習できるように複数のタスクの勾配をどのように組み合わせるべきかを定義することは困難である。
この問題に対処するために,多目的最適化(multi-objective optimization)という考え方を用いて,勾配の時間的挙動を考慮し,バックプロパゲーション中の各タスクの重要性を調整する動的バイアスを生成する手法を提案する。
この方法の成果は、分岐しているタスクや前回のイテレーションで利益が得られないタスクにもっと注意を向けることであり、同時に学習がすべてのタスクのパフォーマンスの最大化に向かっていることを保証することである。
その結果,提案手法は,矛盾するタスクの学習において,最先端の手法よりも優れていることを示す。
採用されているベースラインとは異なり、この方法はすべてのタスクが優れた一般化性能に達することを保証します。
関連論文リスト
- Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。
現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。
本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-03T20:26:44Z) - Learning Multi-Task Transferable Rewards via Variational Inverse
Reinforcement Learning [10.782043595405831]
我々は、生成的対向ネットワークの枠組みに基づく複数のタスクを伴う状況に対して、エンパワーメントに基づく正規化手法を拡張した。
未知のダイナミクスを持つマルチタスク環境下では、ラベルのない専門家の例から報酬とポリシーを学ぶことに集中する。
提案手法は, 状況的相互情報の変動的下限を導出し, 最適化する。
論文 参考訳（メタデータ） (2022-06-19T22:32:41Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳（メタデータ） (2022-01-11T18:44:17Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。
本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。
CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
論文 参考訳（メタデータ） (2021-10-26T22:03:51Z) - Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
論文 参考訳（メタデータ） (2020-10-29T08:25:43Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳（メタデータ） (2020-08-13T10:45:31Z) - Multitask Learning with Single Gradient Step Update for Task Balancing [4.330814031477772]
マルチタスク学習に勾配に基づくメタラーニングを適用することで,タスク間のバランスをとるアルゴリズムを提案する。
提案手法を様々なマルチタスクコンピュータビジョン問題に適用し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-05-20T08:34:20Z) - Gradient Surgery for Multi-Task Learning [119.675492088251]
マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。
マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。
本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
論文 参考訳（メタデータ） (2020-01-19T06:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。