論文の概要: When to Use Multi-Task Learning vs Intermediate Fine-Tuning for
Pre-Trained Encoder Transfer Learning
- arxiv url: http://arxiv.org/abs/2205.08124v1
- Date: Tue, 17 May 2022 06:48:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 22:18:20.565368
- Title: When to Use Multi-Task Learning vs Intermediate Fine-Tuning for
Pre-Trained Encoder Transfer Learning
- Title（参考訳）: プリトレーニングエンコーダ転送学習におけるマルチタスク学習と中間微調整の併用
- Authors: Orion Weller, Kevin Seppi, Matt Gardner
- Abstract要約: 近年,自然言語処理における伝達学習(TL)への関心が高まっている。
微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。
GLUEデータセットの包括的解析において,3つのTL手法を比較した。
- 参考スコア（独自算出の注目度）: 15.39115079099451
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning (TL) in natural language processing (NLP) has seen a surge
of interest in recent years, as pre-trained models have shown an impressive
ability to transfer to novel tasks. Three main strategies have emerged for
making use of multiple supervised datasets during fine-tuning: training on an
intermediate task before training on the target task (STILTs), using multi-task
learning (MTL) to train jointly on a supplementary task and the target task
(pairwise MTL), or simply using MTL to train jointly on all available datasets
(MTL-ALL). In this work, we compare all three TL methods in a comprehensive
analysis on the GLUE dataset suite. We find that there is a simple heuristic
for when to use one of these techniques over the other: pairwise MTL is better
than STILTs when the target task has fewer instances than the supporting task
and vice versa. We show that this holds true in more than 92% of applicable
cases on the GLUE dataset and validate this hypothesis with experiments varying
dataset size. The simplicity and effectiveness of this heuristic is surprising
and warrants additional exploration by the TL community. Furthermore, we find
that MTL-ALL is worse than the pairwise methods in almost every case. We hope
this study will aid others as they choose between TL methods for NLP tasks.
- Abstract（参考訳）: 自然言語処理(NLP)における伝達学習(TL)は,近年関心が高まっている。
ターゲットタスク(STILT)をトレーニングする前に中間タスクでトレーニングする、マルチタスク学習(MTL)を使用して補助タスクとターゲットタスク(ペアワイドMTL)を共同でトレーニングする、あるいは単にMTLを使用して利用可能なすべてのデータセット(MTL-ALL)を共同でトレーニングする、という3つの戦略が、微調整中に複数の教師付きデータセットを使用する方法として登場した。
本研究では,GLUEデータセットスイートの総合解析において,3つのTL手法を比較した。
ペアワイズmtlは、対象タスクがサポートタスクよりもインスタンスが少なく、逆もまた少ない場合、スティルトよりも優れている。
これはglueデータセットで適用可能なケースの92%以上で当てはまることを示し,この仮説をデータセットサイズを変化させた実験で検証する。
このヒューリスティックの単純さと有効性は驚きであり、TLコミュニティによるさらなる探索を保証している。
さらに, MTL-ALLは, ほぼすべての場合において, ペアワイズ法よりも悪いことがわかった。
NLPタスクのTLメソッドを選択する際に、この研究が役に立つことを願っている。
関連論文リスト
- SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。
提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文 参考訳（メタデータ） (2024-06-17T10:12:45Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。
我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。
正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
論文 参考訳（メタデータ） (2023-12-05T21:38:24Z) - Task Grouping for Automated Multi-Task Machine Learning via Task
Affinity Prediction [7.975047833725489]
マルチタスク学習(MTL)モデルはシングルタスク学習(STL)モデルよりもはるかに精度が高い。
本稿では,タスクグループ化のための新しい自動化手法を提案する。
我々は、MTLを用いてタスク群を同時に学習すべきか、STLを用いて独立して学習すべきかを予測するのに役立つ固有のタスク特徴とSTLの特徴を識別する。
論文 参考訳（メタデータ） (2023-10-24T23:29:46Z) - Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。
具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。
最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文 参考訳（メタデータ） (2023-09-21T14:00:11Z) - When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。
このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
論文 参考訳（メタデータ） (2023-07-25T20:08:41Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳（メタデータ） (2022-02-02T13:21:53Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳（メタデータ） (2021-10-14T07:43:39Z) - Multi-Task Learning in Natural Language Processing: An Overview [12.011509222628055]
マルチタスク学習(MTL)は、関連するタスクの有用な情報を利用して、これらのタスクの同時性能向上を実現する。
NLPタスクで使用されるMTLアーキテクチャをまずレビューし、それらを並列アーキテクチャ、階層アーキテクチャ、モジュールアーキテクチャ、生成逆アーキテクチャを含む4つのクラスに分類する。
マルチタスクモデルを適切にトレーニングするために,損失構成,勾配正則化,データサンプリング,タスクスケジューリングの最適化手法を提案する。
論文 参考訳（メタデータ） (2021-09-19T14:51:51Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。