Fugu-MT 論文翻訳(概要): Beyond Losses Reweighting: Empowering Multi-Task Learning via the Generalization Perspective

論文の概要: Beyond Losses Reweighting: Empowering Multi-Task Learning via the Generalization Perspective

arxiv url: http://arxiv.org/abs/2211.13723v5
Date: Mon, 29 Sep 2025 14:14:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-02 14:33:21.365909
Title: Beyond Losses Reweighting: Empowering Multi-Task Learning via the Generalization Perspective
Title（参考訳）: 損失軽減を超えて - 一般化の視点からのマルチタスク学習の強化
Authors: Hoang Phan, Lam Tran, Quyen Tran, Ngoc N. Tran, Tuan Truong, Qi Lei, Nhat Ho, Dinh Phung, Trung Le,
Abstract要約: マルチタスク学習(MTL)は、共有バックボーンを使用して複数の目的を同時に最適化するために、ディープニューラルネットワークを訓練する。本稿では,重み摂動を利用して勾配ノルムを規制し,一般化を改善する新しいMTLフレームワークを提案する。本手法は,タスク性能とモデル全体のロバスト性の観点から,既存の勾配に基づくMTL技術よりも大幅に優れる。
参考スコア（独自算出の注目度）: 61.10883077161432
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-task learning (MTL) trains deep neural networks to optimize several objectives simultaneously using a shared backbone, which leads to reduced computational costs, improved data efficiency, and enhanced performance through cross-task knowledge sharing. Although recent gradient manipulation techniques aim to find a common descent direction that benefits all tasks, conventional empirical loss minimization still leaves models vulnerable to overfitting and gradient conflicts. To address this, we introduce a novel MTL framework that leverages weight perturbation to regulate gradient norms, thus improving generalization. By adaptively modulating weight perturbations, our approach harmonizes task-specific gradients, reducing conflicts and encouraging more robust learning across tasks. Theoretical insights reveal that controlling the gradient norm through weight perturbation directly contributes to better generalization. Extensive experiments across diverse applications demonstrate that our method significantly outperforms existing gradient-based MTL techniques in terms of task performance and overall model robustness.
Abstract（参考訳）: マルチタスク学習(MTL)は、共有バックボーンを使用して、複数の目的を同時に最適化するために、ディープニューラルネットワークをトレーニングする。最近の勾配操作手法は、全てのタスクに利益をもたらす共通の降下方向を見つけることを目的としているが、従来の経験的損失最小化は、過度な適合や勾配の衝突に弱いモデルを残している。そこで本研究では,重力摂動を利用して勾配ノルムを規制し,一般化を改善する新しいMTLフレームワークを提案する。重みの摂動を適応的に調節することにより、我々のアプローチはタスク固有の勾配を調和させ、対立を減らし、タスク間のより堅牢な学習を促進する。理論的な洞察は、ウェイト摂動による勾配ノルムの制御が直接的に一般化に寄与することを示している。多様なアプリケーションを対象とした大規模な実験により,本手法はタスク性能や全体モデルロバスト性の観点から,既存の勾配に基づくMTL技術よりも大幅に優れていることが示された。

関連論文リスト

Efficient Domain Adaptation of Multimodal Embeddings using Constrastive Learning [0.08192907805418582]
現在のアプローチでは、タスク固有の適応なしに事前訓練されたモデルを使用する際にサブパー結果を得るか、あるいは微調整のためにかなりの計算資源を必要とする。本稿では,高コストな微調整処理を必要とせず,基礎的なマルチモーダルな埋め込みを下流タスクに適用するための新しい手法を提案する。
論文参考訳（メタデータ） (2025-02-04T06:30:12Z)
Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
論文参考訳（メタデータ） (2024-02-23T22:46:14Z)
Towards Principled Task Grouping for Multi-Task Learning [12.757893623250252]
マルチタスク学習(MTL)は、タスク間の共有情報を活用し、学習効率と精度を向上させることを目的としている。 MTLは、多くの場合、タスク間の正と負の転送を効果的に管理するのに苦労し、パフォーマンス改善を妨げます。本稿では,MTLにおけるタスクグループ化の原則的アプローチを提案する。
論文参考訳（メタデータ） (2024-02-23T13:51:20Z)
Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
本稿では,既存のMTL手法の効率性に焦点をあてる。バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
論文参考訳（メタデータ） (2024-02-05T22:15:55Z)
Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文参考訳（メタデータ） (2024-01-07T18:12:20Z)
Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文参考訳（メタデータ） (2023-09-21T14:00:11Z)
Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。本稿では,EMTLという新しいマルチタスク最適化手法を提案する。本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文参考訳（メタデータ） (2023-06-15T03:37:23Z)
Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文参考訳（メタデータ） (2022-02-02T13:21:53Z)
Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
論文参考訳（メタデータ） (2021-10-26T22:03:51Z)
SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文参考訳（メタデータ） (2021-09-16T20:58:40Z)
Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文参考訳（メタデータ） (2020-04-29T02:32:04Z)
A Simple General Approach to Balance Task Difficulty in Multi-Task Learning [4.531240717484252]
マルチタスク学習では、異なるタスクの難易度が異なる。本稿では,BMTL(Ba balanced Multi-Task Learning)フレームワークを提案する。提案するBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができる。
論文参考訳（メタデータ） (2020-02-12T04:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。