論文の概要: Revisit the Imbalance Optimization in Multi-task Learning: An Experimental Analysis

• arxiv url: http://arxiv.org/abs/2509.23915v1
• Date: Sun, 28 Sep 2025 14:40:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.530055
• Title: Revisit the Imbalance Optimization in Multi-task Learning: An Experimental Analysis
• Title（参考訳）: マルチタスク学習における不均衡最適化の再検討:実験的検討
• Authors: Yihang Guo, Tianyuan Yu, Liang Bai, Yanming Guo, Yirun Ruan, William Li, Weishi Zheng,
• Abstract要約: マルチタスク学習(MTL)は、1つのネットワークをトレーニングして複数のタスクを共同実行することで汎用的な視覚システムを構築することを目的としている。 期待されているが、そのポテンシャルは「不均衡な最適化」によって妨げられることが多い。 本稿では,この持続的問題に寄与する要因を解明するための系統的な実験的検討を行った。
• 参考スコア（独自算出の注目度）: 44.410446932443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) aims to build general-purpose vision systems by training a single network to perform multiple tasks jointly. While promising, its potential is often hindered by "unbalanced optimization", where task interference leads to subpar performance compared to single-task models. To facilitate research in MTL, this paper presents a systematic experimental analysis to dissect the factors contributing to this persistent problem. Our investigation confirms that the performance of existing optimization methods varies inconsistently across datasets, and advanced architectures still rely on costly grid-searched loss weights. Furthermore, we show that while powerful Vision Foundation Models (VFMs) provide strong initialization, they do not inherently resolve the optimization imbalance, and merely increasing data quantity offers limited benefits. A crucial finding emerges from our analysis: a strong correlation exists between the optimization imbalance and the norm of task-specific gradients. We demonstrate that this insight is directly applicable, showing that a straightforward strategy of scaling task losses according to their gradient norms can achieve performance comparable to that of an extensive and computationally expensive grid search. Our comprehensive analysis suggests that understanding and controlling gradient dynamics is a more direct path to stable MTL than developing increasingly complex methods.
• Abstract（参考訳）: マルチタスク学習(MTL)は、1つのネットワークをトレーニングして複数のタスクを共同実行することで汎用的な視覚システムを構築することを目的としている。 期待されているものの、タスク干渉がシングルタスクモデルと比較してサブパーパフォーマンスにつながる「アンバランスな最適化」によってそのポテンシャルが妨げられることが多い。 MTLの研究を容易にするために,本論文では,この永続的問題に寄与する要因を解明するための系統的な実験的検討を行った。 本研究は,既存の最適化手法の性能がデータセット間で不整合に変化していることを確認し,高度なアーキテクチャは依然としてグリッド探索による損失重みに頼っている。 さらに、強力なビジョン基礎モデル(VFM)が強力な初期化を提供する一方で、最適化の不均衡を本質的に解決するわけではなく、単にデータ量を増やすだけでは利点が限られていることを示す。 最適化の不均衡とタスク固有の勾配のノルムの間には強い相関関係が存在する。 この知見は直接適用可能であることを示し、その勾配基準に従ってタスク損失をスケーリングする簡単な戦略が、広範で計算コストのかかるグリッドサーチに匹敵する性能を達成できることを示した。 我々の包括的分析は、勾配力学の理解と制御が、より複雑な手法の開発よりも、安定なMLLへの直接的な経路であることを示唆している。

関連論文リスト

• Injecting Imbalance Sensitivity for Multi-Task Learning [36.60453299563175]
  マルチタスク学習(MTL)は、リアルタイムアプリケーションにディープラーニングモデルをデプロイするための有望なアプローチとして登場した。 近年,MLLにおけるタスク共有表現を確立するための最適化に基づく学習パラダイムが提案されている。 本稿は、これらの研究が主に紛争問題を強調しつつ、MTLにおける不均衡/支配の潜在的に重大な影響を無視していることを実証的に論じる。
  論文  参考訳（メタデータ） (2025-03-11T03:11:54Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Analytical Uncertainty-Based Loss Weighting in Multi-Task Learning [8.493889694402478]
  マルチタスク学習(MTL)における鍵となる課題は、ニューラルネットワークトレーニング中の個々のタスク損失のバランスを取り、パフォーマンスと効率を改善することである。 本稿では,不確かさ重み付けの最も一般的な手法に基づくタスク重み付け手法を提案する。 我々のアプローチは、解析的に禁止された、スケーラブル化のブルートフォースアプローチに匹敵する結果をもたらす。
  論文  参考訳（メタデータ） (2024-08-15T07:10:17Z)
• Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
  マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。 通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:46:14Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Large Language Models are Miscalibrated In-Context Learners [22.30783674111999]
  本研究では,学習方法の異なる選択にまたがる行動の詳細な分析を行う。 低リソース環境における全ての学習手法に誤校正問題が存在することを観察する。 最大確率で自己認識を行うことで,ロバストかつ校正された予測が得られることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。