論文の概要: Improving Multi-task Learning via Seeking Task-based Flat Regions
- arxiv url: http://arxiv.org/abs/2211.13723v3
- Date: Tue, 19 Nov 2024 16:17:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:34:32.507145
- Title: Improving Multi-task Learning via Seeking Task-based Flat Regions
- Title（参考訳）: タスクベースフラット領域の探索によるマルチタスク学習の改善
- Authors: Hoang Phan, Lam Tran, Quyen Tran, Ngoc N. Tran, Tuan Truong, Nhat Ho, Dinh Phung, Trung Le,
- Abstract要約: MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。
MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。
単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
- 参考スコア（独自算出の注目度）: 38.28600737969538
- License:
- Abstract: Multi-Task Learning (MTL) is a widely-used and powerful learning paradigm for training deep neural networks that allows learning more than one objective by a single backbone. Compared to training tasks separately, MTL significantly reduces computational costs, improves data efficiency, and potentially enhances model performance by leveraging knowledge across tasks. Hence, it has been adopted in a variety of applications, ranging from computer vision to natural language processing and speech recognition. Among them, there is an emerging line of work in MTL that focuses on manipulating the task gradient to derive an ultimate gradient descent direction to benefit all tasks. Despite achieving impressive results on many benchmarks, directly applying these approaches without using appropriate regularization techniques might lead to suboptimal solutions on real-world problems. In particular, standard training that minimizes the empirical loss on the training data can easily suffer from overfitting to low-resource tasks or be spoiled by noisy-labeled ones, which can cause negative transfer between tasks and overall performance drop. To alleviate such problems, we propose to leverage a recently introduced training method, named Sharpness-aware Minimization, which can enhance model generalization ability on single-task learning. Accordingly, we present a novel MTL training methodology, encouraging the model to find task-based flat minima for coherently improving its generalization capability on all tasks. Finally, we conduct comprehensive experiments on a variety of applications to demonstrate the merit of our proposed approach to existing gradient-based MTL methods, as suggested by our developed theory.
- Abstract（参考訳）: MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための広く使われている強力な学習パラダイムである。
トレーニングタスクを別々に比較すると、MTLは計算コストを大幅に削減し、データ効率を向上し、タスク間の知識を活用することでモデル性能を向上させる可能性がある。
そのため、コンピュータビジョンから自然言語処理、音声認識まで、様々な用途で採用されている。
そのうちの1つは、全てのタスクに利益をもたらすための究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、MLLにおける新しい作業ラインである。
多くのベンチマークで印象的な結果を得たにもかかわらず、適切な正規化手法を使わずにこれらのアプローチを直接適用すれば、現実世界の問題に対する準最適解が得られるかもしれない。
特に、トレーニングデータに対する経験的損失を最小限に抑える標準トレーニングは、低リソースのタスクに過度に適合することや、ノイズの多いラベル付きタスクによって損なわれ、タスク間の負の移動や全体的なパフォーマンス低下を引き起こす可能性がある。
このような問題を緩和するために,シャープネス認識最小化(Sharpness-aware Minimization)という,単一タスク学習におけるモデル一般化能力を向上する手法を提案する。
そこで本研究では,全てのタスクにおける一般化能力の整合性向上のために,タスクベースのフラットミニマを見つけることをモデルに推奨する,新しいMTLトレーニング手法を提案する。
最後に, 従来の勾配型MTL法に対する提案手法の有効性を示すため, 様々な応用に関する総合的な実験を行った。
関連論文リスト
- Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。
MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。
通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
論文 参考訳（メタデータ） (2024-02-23T22:46:14Z) - Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
本稿では,既存のMTL手法の効率性に焦点をあてる。
バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。
また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
論文 参考訳（メタデータ） (2024-02-05T22:15:55Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。
具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。
最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文 参考訳（メタデータ） (2023-09-21T14:00:11Z) - Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。
本稿では,EMTLという新しいマルチタスク最適化手法を提案する。
本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文 参考訳（メタデータ） (2023-06-15T03:37:23Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳（メタデータ） (2022-02-02T13:21:53Z) - Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。
本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。
CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
論文 参考訳（メタデータ） (2021-10-26T22:03:51Z) - SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task
Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。
最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。
マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文 参考訳（メタデータ） (2021-09-16T20:58:40Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z) - A Simple General Approach to Balance Task Difficulty in Multi-Task
Learning [4.531240717484252]
マルチタスク学習では、異なるタスクの難易度が異なる。
本稿では,BMTL(Ba balanced Multi-Task Learning)フレームワークを提案する。
提案するBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができる。
論文 参考訳（メタデータ） (2020-02-12T04:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。