論文の概要: Task Grouping for Automated Multi-Task Machine Learning via Task
Affinity Prediction
- arxiv url: http://arxiv.org/abs/2310.16241v1
- Date: Tue, 24 Oct 2023 23:29:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 17:37:53.296759
- Title: Task Grouping for Automated Multi-Task Machine Learning via Task
Affinity Prediction
- Title(参考訳): タスク親和性予測によるマルチタスク機械学習のためのタスクグループ化
- Authors: Afiya Ayman, Ayan Mukhopadhyay, Aron Laszka
- Abstract要約: マルチタスク学習(MTL)モデルはシングルタスク学習(STL)モデルよりもはるかに精度が高い。
本稿では,タスクグループ化のための新しい自動化手法を提案する。
我々は、MTLを用いてタスク群を同時に学習すべきか、STLを用いて独立して学習すべきかを予測するのに役立つ固有のタスク特徴とSTLの特徴を識別する。
- 参考スコア(独自算出の注目度): 7.975047833725489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a number of similar tasks have to be learned simultaneously, multi-task
learning (MTL) models can attain significantly higher accuracy than single-task
learning (STL) models. However, the advantage of MTL depends on various
factors, such as the similarity of the tasks, the sizes of the datasets, and so
on; in fact, some tasks might not benefit from MTL and may even incur a loss of
accuracy compared to STL. Hence, the question arises: which tasks should be
learned together? Domain experts can attempt to group tasks together following
intuition, experience, and best practices, but manual grouping can be
labor-intensive and far from optimal. In this paper, we propose a novel
automated approach for task grouping. First, we study the affinity of tasks for
MTL using four benchmark datasets that have been used extensively in the MTL
literature, focusing on neural network-based MTL models. We identify inherent
task features and STL characteristics that can help us to predict whether a
group of tasks should be learned together using MTL or if they should be
learned independently using STL. Building on this predictor, we introduce a
randomized search algorithm, which employs the predictor to minimize the number
of MTL trainings performed during the search for task groups. We demonstrate on
the four benchmark datasets that our predictor-driven search approach can find
better task groupings than existing baseline approaches.
- Abstract(参考訳): 類似したタスクを同時に学習する必要がある場合、マルチタスク学習(MTL)モデルはシングルタスク学習(STL)モデルよりもはるかに高い精度が得られる。
しかし、MTLの利点は、タスクの類似性、データセットのサイズなど、様々な要因に依存している。
では、どのタスクを一緒に学ぶべきか?
ドメインの専門家は直観、経験、ベストプラクティスに従ってタスクをグループ化できますが、手動のグルーピングは労働集約的で最適なものではありません。
本稿では,タスクグループ化のための新しい自動化手法を提案する。
まず、mtl文献で広く使われている4つのベンチマークデータセットを用いて、mtlのタスクの親和性を調べ、ニューラルネットワークに基づくmtlモデルに焦点をあてる。
我々は、MTLを用いてタスク群を同時に学習すべきか、STLを用いて独立して学習すべきかを予測するのに役立つ固有のタスク特徴とSTLの特徴を識別する。
この予測器をベースとしたランダム化探索アルゴリズムを導入し,タスク群探索時に行うMTLトレーニングの数を最小化する。
提案する4つのベンチマークデータセットでは,既存のベースラインアプローチよりも,予測型検索アプローチの方が優れたタスクグループ化を実現できることを示す。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。
我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。
正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-12-05T21:38:24Z) - When Multi-Task Learning Meets Partial Supervision: A Computer Vision
Review [6.789370732159176]
マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。
このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
論文 参考訳(メタデータ) (2023-07-25T20:08:41Z) - STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map [5.218882272051636]
MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりも性能が向上し、普及した強力な技術である。
しかし、MTLは指数的なタスクグルーピング数が多いため、しばしば困難である。
本稿では,これらの課題に対処し,課題分類のためのスケーラブルでモジュール化されたソリューションを提供する新しいデータ駆動手法を提案する。
論文 参考訳(メタデータ) (2023-07-07T03:54:26Z) - When Does Aggregating Multiple Skills with Multi-Task Learning Work? A
Case Study in Financial NLP [22.6364117325639]
マルチタスク学習(MTL)は、複数のタスクからデータと知識を活用することにより、よりよいモデルを実現することを目的としている。
以上の結果から,MTLの成功の鍵は,スキル多様性,タスク間の関連性,集約サイズと共有能力の選択にあることが示唆された。
論文 参考訳(メタデータ) (2023-05-23T12:37:14Z) - "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint
Learning [74.14961250042629]
MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。
共同学習におけるタスク親和性の推定は重要な取り組みである。
最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。
しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
論文 参考訳(メタデータ) (2023-01-07T15:16:35Z) - Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。
単一モデルのトレーニング中に、このマッチングプロセスを最適化する。
13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2022-12-15T18:59:52Z) - When to Use Multi-Task Learning vs Intermediate Fine-Tuning for
Pre-Trained Encoder Transfer Learning [15.39115079099451]
近年,自然言語処理における伝達学習(TL)への関心が高まっている。
微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。
GLUEデータセットの包括的解析において,3つのTL手法を比較した。
論文 参考訳(メタデータ) (2022-05-17T06:48:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳(メタデータ) (2021-10-14T07:43:39Z) - Latent Group Structured Multi-task Learning [2.827177139912107]
マルチタスク学習(MTL)では,様々なタスクを共同で学習することで,鍵となる機械学習アルゴリズムの性能を向上させる。
本稿では,事前情報によって定義されたグループ構造化タスクを奨励するグループ構造化潜在空間マルチタスク学習モデルを提案する。
合成データセットと実世界のデータセットの両方で実験が行われ、シングルタスク学習よりも競争力のあるパフォーマンスを示している。
論文 参考訳(メタデータ) (2020-11-24T05:38:58Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳(メタデータ) (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。