論文の概要: Improving Multi-task Learning via Seeking Task-based Flat Regions
- arxiv url: http://arxiv.org/abs/2211.13723v2
- Date: Fri, 29 Sep 2023 19:22:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 20:50:17.394240
- Title: Improving Multi-task Learning via Seeking Task-based Flat Regions
- Title（参考訳）: タスクベースフラット領域探索によるマルチタスク学習の改善
- Authors: Hoang Phan, Lam Tran, Ngoc N. Tran, Nhat Ho, Dinh Phung, Trung Le
- Abstract要約: MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。
MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。
単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
- 参考スコア（独自算出の注目度）: 43.85516379095757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Task Learning (MTL) is a widely-used and powerful learning paradigm for
training deep neural networks that allows learning more than one objective by a
single backbone. Compared to training tasks separately, MTL significantly
reduces computational costs, improves data efficiency, and potentially enhances
model performance by leveraging knowledge across tasks. Hence, it has been
adopted in a variety of applications, ranging from computer vision to natural
language processing and speech recognition. Among them, there is an emerging
line of work in MTL that focuses on manipulating the task gradient to derive an
ultimate gradient descent direction to benefit all tasks. Despite achieving
impressive results on many benchmarks, directly applying these approaches
without using appropriate regularization techniques might lead to suboptimal
solutions on real-world problems. In particular, standard training that
minimizes the empirical loss on the training data can easily suffer from
overfitting to low-resource tasks or be spoiled by noisy-labeled ones, which
can cause negative transfer between tasks and overall performance drop. To
alleviate such problems, we propose to leverage a recently introduced training
method, named Sharpness-aware Minimization, which can enhance model
generalization ability on single-task learning. Accordingly, we present a novel
MTL training methodology, encouraging the model to find task-based flat minima
for coherently improving its generalization capability on all tasks. Finally,
we conduct comprehensive experiments on a variety of applications to
demonstrate the merit of our proposed approach to existing gradient-based MTL
methods, as suggested by our developed theory.
- Abstract（参考訳）: マルチタスク学習(multi-task learning, mtl)は、ディープニューラルネットワークをトレーニングするための、広く使用されている強力な学習パラダイムである。
トレーニングタスクを別々に比較すると、MTLは計算コストを大幅に削減し、データ効率を向上し、タスク間の知識を活用することでモデル性能を向上させる可能性がある。
そのため、コンピュータビジョンから自然言語処理、音声認識まで、様々な用途で採用されている。
その中には、タスク勾配を操作することに焦点を当て、すべてのタスクに利益をもたらす究極の勾配降下方向を導出する、mtlの新たな作業ラインがある。
多くのベンチマークで印象的な結果を得たにもかかわらず、適切な正規化手法を使わずにこれらのアプローチを直接適用すれば、現実世界の問題に対する準最適解が得られるかもしれない。
特に、トレーニングデータの経験的損失を最小限に抑える標準トレーニングは、低リソースタスクへの過度な適合や、ノイズの多いラベル付きタスクによって損なわれることが少なく、タスク間の負の転送と全体的なパフォーマンス低下を引き起こす可能性がある。
このような問題を緩和するために,シャープネス認識最小化(Sharpness-aware Minimization)という,単一タスク学習におけるモデル一般化能力を向上する手法を提案する。
そこで本研究では,すべてのタスクの一般化能力を向上させるためのタスクベースフラットミニマの探索をモデルに促す新しいmtlトレーニング手法を提案する。
最後に,既存の勾配に基づくmtl法に対する提案手法のメリットを実証するために,様々な応用に関する包括的な実験を行った。
関連論文リスト
- Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。
MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。
通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
論文 参考訳（メタデータ） (2024-02-23T22:46:14Z) - Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
本稿では,既存のMTL手法の効率性に焦点をあてる。
バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。
また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
論文 参考訳（メタデータ） (2024-02-05T22:15:55Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。
具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。
最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文 参考訳（メタデータ） (2023-09-21T14:00:11Z) - Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。
本稿では,EMTLという新しいマルチタスク最適化手法を提案する。
本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文 参考訳（メタデータ） (2023-06-15T03:37:23Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳（メタデータ） (2022-02-02T13:21:53Z) - Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。
本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。
CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
論文 参考訳（メタデータ） (2021-10-26T22:03:51Z) - SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task
Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。
最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。
マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文 参考訳（メタデータ） (2021-09-16T20:58:40Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z) - A Simple General Approach to Balance Task Difficulty in Multi-Task
Learning [4.531240717484252]
マルチタスク学習では、異なるタスクの難易度が異なる。
本稿では,BMTL(Ba balanced Multi-Task Learning)フレームワークを提案する。
提案するBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができる。
論文 参考訳（メタデータ） (2020-02-12T04:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。