論文の概要: Efficiently Identifying Task Groupings for Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2109.04617v1
- Date: Fri, 10 Sep 2021 02:01:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-13 13:46:02.191763
- Title: Efficiently Identifying Task Groupings for Multi-Task Learning
- Title(参考訳): マルチタスク学習におけるタスク群の自動同定
- Authors: Christopher Fifty, Ehsan Amid, Zhe Zhao, Tianhe Yu, Rohan Anil,
Chelsea Finn
- Abstract要約: マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。
本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
- 参考スコア(独自算出の注目度): 55.80489920205404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning can leverage information learned by one task to benefit
the training of other tasks. Despite this capacity, naively training all tasks
together in one model often degrades performance, and exhaustively searching
through combinations of task groupings can be prohibitively expensive. As a
result, efficiently identifying the tasks that would benefit from co-training
remains a challenging design question without a clear solution. In this paper,
we suggest an approach to select which tasks should train together in
multi-task learning models. Our method determines task groupings in a single
training run by co-training all tasks together and quantifying the effect to
which one task's gradient would affect another task's loss. On the large-scale
Taskonomy computer vision dataset, we find this method can decrease test loss
by 10.0\% compared to simply training all tasks together while operating 11.6
times faster than a state-of-the-art task grouping method.
- Abstract(参考訳): マルチタスク学習は、あるタスクが学習した情報を活用し、他のタスクのトレーニングの恩恵を受けることができる。
この能力にもかかわらず、1つのモデルで全てのタスクを鼻で訓練することはパフォーマンスを低下させることが多く、タスクグループ化の組み合わせを徹底的に探すことは違法にコストがかかる。
結果として、コトレーニングの恩恵を受けるタスクを効率的に識別することは、明確な解決策なしでは難しい設計問題である。
本稿では,マルチタスク学習モデルにおいて,どのタスクを一緒に訓練すべきかを選択する手法を提案する。
提案手法は,すべてのタスクをコトレーニングし,ひとつのタスクの勾配が他のタスクの損失に与える影響を定量化することにより,単一のトレーニングでタスクのグループ化を決定する。
大規模タスクマイノミーコンピュータビジョンデータセットでは,従来のタスクグループ化手法よりも11.6倍高速に動作しながら,すべてのタスクを同時にトレーニングするのに比べ,テスト損失を10.0\%削減できることがわかった。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - TaskWeb: Selecting Better Source Tasks for Multi-task NLP [76.03221609799931]
ペアワイズタスク転送によるタスク関係の認識は、新しいターゲットタスクの学習に役立つ1つ以上のソースタスクの選択を改善する。
私たちはTaskWebを使って、新しいターゲットタスクの学習にソースタスクを使うことの利点を推定し、マルチタスクトレーニングに有用なトレーニングタスクのサブセットを選択する。
本手法は,ソースタスクの総合ランキングとトップk精度をそれぞれ10%,トップk精度を38%向上させる。
論文 参考訳(メタデータ) (2023-05-22T17:27:57Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳(メタデータ) (2022-10-12T15:02:04Z) - Exploring the Role of Task Transferability in Large-Scale Multi-Task
Learning [28.104054292437525]
マルチタスク表現学習におけるタスクのスケールと関連性の影響を解消する。
目標タスクが事前に分かっている場合、関連するタスクのより小さなセットでのトレーニングは、大規模なマルチタスクトレーニングと競合する。
論文 参考訳(メタデータ) (2022-04-23T18:11:35Z) - Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big
Task [24.618094251341958]
マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。
本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。
実験により, 現状のアプローチと比較し, その有効性を示した。
論文 参考訳(メタデータ) (2022-01-07T02:46:47Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳(メタデータ) (2021-11-09T18:49:45Z) - Knowledge Distillation for Multi-task Learning [38.20005345733544]
マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。
そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。
本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T08:02:42Z) - Gradient Surgery for Multi-Task Learning [119.675492088251]
マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。
マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。
本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
論文 参考訳(メタデータ) (2020-01-19T06:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。