Fugu-MT 論文翻訳(概要): Revisit the Imbalance Optimization in Multi-task Learning: An Experimental Analysis

論文の概要: Revisit the Imbalance Optimization in Multi-task Learning: An Experimental Analysis

arxiv url: http://arxiv.org/abs/2509.23915v1
Date: Sun, 28 Sep 2025 14:40:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-30 22:32:19.530055
Title: Revisit the Imbalance Optimization in Multi-task Learning: An Experimental Analysis
Title（参考訳）: マルチタスク学習における不均衡最適化の再検討:実験的検討
Authors: Yihang Guo, Tianyuan Yu, Liang Bai, Yanming Guo, Yirun Ruan, William Li, Weishi Zheng,
Abstract要約: マルチタスク学習(MTL)は、1つのネットワークをトレーニングして複数のタスクを共同実行することで汎用的な視覚システムを構築することを目的としている。期待されているが、そのポテンシャルは「不均衡な最適化」によって妨げられることが多い。本稿では,この持続的問題に寄与する要因を解明するための系統的な実験的検討を行った。
参考スコア（独自算出の注目度）: 44.410446932443
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-task learning (MTL) aims to build general-purpose vision systems by training a single network to perform multiple tasks jointly. While promising, its potential is often hindered by "unbalanced optimization", where task interference leads to subpar performance compared to single-task models. To facilitate research in MTL, this paper presents a systematic experimental analysis to dissect the factors contributing to this persistent problem. Our investigation confirms that the performance of existing optimization methods varies inconsistently across datasets, and advanced architectures still rely on costly grid-searched loss weights. Furthermore, we show that while powerful Vision Foundation Models (VFMs) provide strong initialization, they do not inherently resolve the optimization imbalance, and merely increasing data quantity offers limited benefits. A crucial finding emerges from our analysis: a strong correlation exists between the optimization imbalance and the norm of task-specific gradients. We demonstrate that this insight is directly applicable, showing that a straightforward strategy of scaling task losses according to their gradient norms can achieve performance comparable to that of an extensive and computationally expensive grid search. Our comprehensive analysis suggests that understanding and controlling gradient dynamics is a more direct path to stable MTL than developing increasingly complex methods.
Abstract（参考訳）: マルチタスク学習(MTL)は、1つのネットワークをトレーニングして複数のタスクを共同実行することで汎用的な視覚システムを構築することを目的としている。期待されているものの、タスク干渉がシングルタスクモデルと比較してサブパーパフォーマンスにつながる「アンバランスな最適化」によってそのポテンシャルが妨げられることが多い。 MTLの研究を容易にするために,本論文では,この永続的問題に寄与する要因を解明するための系統的な実験的検討を行った。本研究は,既存の最適化手法の性能がデータセット間で不整合に変化していることを確認し,高度なアーキテクチャは依然としてグリッド探索による損失重みに頼っている。さらに、強力なビジョン基礎モデル(VFM)が強力な初期化を提供する一方で、最適化の不均衡を本質的に解決するわけではなく、単にデータ量を増やすだけでは利点が限られていることを示す。最適化の不均衡とタスク固有の勾配のノルムの間には強い相関関係が存在する。この知見は直接適用可能であることを示し、その勾配基準に従ってタスク損失をスケーリングする簡単な戦略が、広範で計算コストのかかるグリッドサーチに匹敵する性能を達成できることを示した。我々の包括的分析は、勾配力学の理解と制御が、より複雑な手法の開発よりも、安定なMLLへの直接的な経路であることを示唆している。

関連論文リスト

MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
論文参考訳（メタデータ） (2025-10-09T17:53:58Z)
Injecting Imbalance Sensitivity for Multi-Task Learning [36.60453299563175]
マルチタスク学習(MTL)は、リアルタイムアプリケーションにディープラーニングモデルをデプロイするための有望なアプローチとして登場した。近年,MLLにおけるタスク共有表現を確立するための最適化に基づく学習パラダイムが提案されている。本稿は、これらの研究が主に紛争問題を強調しつつ、MTLにおける不均衡/支配の潜在的に重大な影響を無視していることを実証的に論じる。
論文参考訳（メタデータ） (2025-03-11T03:11:54Z)
Continual Optimization with Symmetry Teleportation for Multi-Task Learning [73.28772872740744]
マルチタスク学習(MTL)は、1つのモデルを用いて複数のタスクの同時学習を可能にする。シンメトリ・テレポーテーション(COST)を用いた連続最適化に基づく新しい手法を提案する。 COSTは、競合の勾配を減らすために、損失ランドスケープに別の損失等価点を求める。
論文参考訳（メタデータ） (2025-03-06T02:58:09Z)
Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文参考訳（メタデータ） (2024-10-29T14:41:44Z)
Analytical Uncertainty-Based Loss Weighting in Multi-Task Learning [8.493889694402478]
マルチタスク学習(MTL)における鍵となる課題は、ニューラルネットワークトレーニング中の個々のタスク損失のバランスを取り、パフォーマンスと効率を改善することである。本稿では,不確かさ重み付けの最も一般的な手法に基づくタスク重み付け手法を提案する。我々のアプローチは、解析的に禁止された、スケーラブル化のブルートフォースアプローチに匹敵する結果をもたらす。
論文参考訳（メタデータ） (2024-08-15T07:10:17Z)
Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文参考訳（メタデータ） (2024-03-12T13:31:14Z)
Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
論文参考訳（メタデータ） (2024-02-23T22:46:14Z)
Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
本稿では,既存のMTL手法の効率性に焦点をあてる。バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
論文参考訳（メタデータ） (2024-02-05T22:15:55Z)
Large Language Models are Miscalibrated In-Context Learners [22.30783674111999]
本研究では,学習方法の異なる選択にまたがる行動の詳細な分析を行う。低リソース環境における全ての学習手法に誤校正問題が存在することを観察する。最大確率で自己認識を行うことで,ロバストかつ校正された予測が得られることがわかった。
論文参考訳（メタデータ） (2023-12-21T11:55:10Z)
Beyond Losses Reweighting: Empowering Multi-Task Learning via the Generalization Perspective [61.10883077161432]
マルチタスク学習(MTL)は、共有バックボーンを使用して複数の目的を同時に最適化するために、ディープニューラルネットワークを訓練する。本稿では,重み摂動を利用して勾配ノルムを規制し,一般化を改善する新しいMTLフレームワークを提案する。本手法は,タスク性能とモデル全体のロバスト性の観点から,既存の勾配に基づくMTL技術よりも大幅に優れる。
論文参考訳（メタデータ） (2022-11-24T17:19:30Z)
SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文参考訳（メタデータ） (2021-09-16T20:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。