論文の概要: A Scale-Invariant Task Balancing Approach for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2308.12029v1
• Date: Wed, 23 Aug 2023 09:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 14:46:23.040402
• Title: A Scale-Invariant Task Balancing Approach for Multi-Task Learning
• Title（参考訳）: マルチタスク学習のためのスケール不変タスクバランシングアプローチ
• Authors: Baijiong Lin, Weisen Jiang, Feiyang Ye, Yu Zhang, Pengguang Chen, Ying-Cong Chen, Shu Liu
• Abstract要約: 本稿では,課題分散問題を損失と勾配の両方の観点から緩和するために,SI-MTL(Scale-Invariant Multi-Task Learning)法を提案する。 特に、SI-MTLは、損失レベルでのスケール不変性を確保するために全てのタスク損失に対して実行される対数変換と、最大勾配基準と同じ大きさにすべてのタスク勾配を正規化する勾配バランス法SI-Gを含む。
• 参考スコア（独自算出の注目度）: 28.021373035275857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL), a learning paradigm to learn multiple related tasks simultaneously, has achieved great success in various fields. However, task-balancing remains a significant challenge in MTL, with the disparity in loss/gradient scales often leading to performance compromises. In this paper, we propose a Scale-Invariant Multi-Task Learning (SI-MTL) method to alleviate the task-balancing problem from both loss and gradient perspectives. Specifically, SI-MTL contains a logarithm transformation which is performed on all task losses to ensure scale-invariant at the loss level, and a gradient balancing method, SI-G, which normalizes all task gradients to the same magnitude as the maximum gradient norm. Extensive experiments conducted on several benchmark datasets consistently demonstrate the effectiveness of SI-G and the state-of-the-art performance of SI-MTL.
• Abstract（参考訳）: 複数のタスクを同時に学習する学習パラダイムであるマルチタスク学習(MTL)は,様々な分野で大きな成功を収めている。 しかし、タスクバランシングはMTLにおいて重要な課題であり、損失/段階的なスケールの相違はしばしばパフォーマンスの妥協につながる。 本稿では,損失と勾配の両面からタスクバランス問題を緩和するために,SI-MTL(Scale-Invariant Multi-Task Learning)法を提案する。 特に、SI-MTLは、損失レベルでのスケール不変性を確保するために全てのタスク損失に対して実行される対数変換と、最大勾配基準と同じ大きさに全タスク勾配を正規化する勾配バランス法SI-Gを含む。 いくつかのベンチマークデータセットで実施された大規模な実験は、SI-Gの有効性とSI-MTLの最先端性能を一貫して実証している。

関連論文リスト

• Improvable Gap Balancing for Multi-Task Learning [15.582333026781004]
  マルチタスク学習(MTL)のための2つの新しいIGBアルゴリズムを提案する。 1つは単純で、もう1つは(初めて)MTLのための深層強化学習をデプロイする。 我々の IGB アルゴリズムは損失分散による MTL の最良の結果をもたらし、勾配分散と組み合わせることでさらなる改善を実現する。
  論文  参考訳（メタデータ） (2023-07-28T09:26:03Z)
• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• FAMO: Fast Adaptive Multitask Optimization [48.59232177073481]
  本稿では,動的重み付け手法であるFast Adaptive Multitask Optimization FAMOを導入する。 この結果から,FAMOは最先端の勾配操作技術に匹敵する,あるいは優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T15:39:54Z)
• MaxGNR: A Dynamic Weight Strategy via Maximizing Gradient-to-Noise Ratio for Multi-Task Learning [19.38778317110205]
  コンピュータビジョンでは、マルチタスク学習(MTL)はシングルタスク学習(STL)より優れている。 MTLシナリオでは、タスク間グラディエントノイズ(ITGN)が各タスクの勾配ノイズの付加源となる。 我々は、各タスクのITGN干渉を軽減するために、MaxGNRアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-02-18T14:50:45Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)
• HydaLearn: Highly Dynamic Task Weighting for Multi-task Learning with Auxiliary Tasks [4.095907708855597]
  マルチタスク学習(MTL)は、1つ以上の関連する補助タスクと表現を共有することでタスクのパフォーマンスを向上させることができる。 通常、MTL-networksは、個別のタスク損失の一定の重み付けによる複合損失関数に基づいて訓練される。 実際には, 一定損失重みは, (i) ミニバッチに基づく最適化において, 最適タスク重みは, ミニバッチのサンプル組成に応じて, 更新から次へと大きく変化する。 メインタスクのゲインを個別のタスク勾配に結びつけるインテリジェントな重み付けアルゴリズムであるHydaLearnを導入して,その情報を伝達する。
  論文  参考訳（メタデータ） (2020-08-26T16:04:02Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。