論文の概要: Task Grouping for Automated Multi-Task Machine Learning via Task
Affinity Prediction
- arxiv url: http://arxiv.org/abs/2310.16241v1
- Date: Tue, 24 Oct 2023 23:29:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 17:37:53.296759
- Title: Task Grouping for Automated Multi-Task Machine Learning via Task
Affinity Prediction
- Title（参考訳）: タスク親和性予測によるマルチタスク機械学習のためのタスクグループ化
- Authors: Afiya Ayman, Ayan Mukhopadhyay, Aron Laszka
- Abstract要約: マルチタスク学習(MTL)モデルはシングルタスク学習(STL)モデルよりもはるかに精度が高い。
本稿では,タスクグループ化のための新しい自動化手法を提案する。
我々は、MTLを用いてタスク群を同時に学習すべきか、STLを用いて独立して学習すべきかを予測するのに役立つ固有のタスク特徴とSTLの特徴を識別する。
- 参考スコア（独自算出の注目度）: 7.975047833725489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a number of similar tasks have to be learned simultaneously, multi-task
learning (MTL) models can attain significantly higher accuracy than single-task
learning (STL) models. However, the advantage of MTL depends on various
factors, such as the similarity of the tasks, the sizes of the datasets, and so
on; in fact, some tasks might not benefit from MTL and may even incur a loss of
accuracy compared to STL. Hence, the question arises: which tasks should be
learned together? Domain experts can attempt to group tasks together following
intuition, experience, and best practices, but manual grouping can be
labor-intensive and far from optimal. In this paper, we propose a novel
automated approach for task grouping. First, we study the affinity of tasks for
MTL using four benchmark datasets that have been used extensively in the MTL
literature, focusing on neural network-based MTL models. We identify inherent
task features and STL characteristics that can help us to predict whether a
group of tasks should be learned together using MTL or if they should be
learned independently using STL. Building on this predictor, we introduce a
randomized search algorithm, which employs the predictor to minimize the number
of MTL trainings performed during the search for task groups. We demonstrate on
the four benchmark datasets that our predictor-driven search approach can find
better task groupings than existing baseline approaches.
- Abstract（参考訳）: 類似したタスクを同時に学習する必要がある場合、マルチタスク学習(MTL)モデルはシングルタスク学習(STL)モデルよりもはるかに高い精度が得られる。
しかし、MTLの利点は、タスクの類似性、データセットのサイズなど、様々な要因に依存している。
では、どのタスクを一緒に学ぶべきか?
ドメインの専門家は直観、経験、ベストプラクティスに従ってタスクをグループ化できますが、手動のグルーピングは労働集約的で最適なものではありません。
本稿では,タスクグループ化のための新しい自動化手法を提案する。
まず、mtl文献で広く使われている4つのベンチマークデータセットを用いて、mtlのタスクの親和性を調べ、ニューラルネットワークに基づくmtlモデルに焦点をあてる。
我々は、MTLを用いてタスク群を同時に学習すべきか、STLを用いて独立して学習すべきかを予測するのに役立つ固有のタスク特徴とSTLの特徴を識別する。
この予測器をベースとしたランダム化探索アルゴリズムを導入し,タスク群探索時に行うMTLトレーニングの数を最小化する。
提案する4つのベンチマークデータセットでは,既存のベースラインアプローチよりも,予測型検索アプローチの方が優れたタスクグループ化を実現できることを示す。
関連論文リスト
- SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Multi-task learning via robust regularized clustering with non-convex group penalties [0.0]
マルチタスク学習(MTL)は、関連するタスク間で共通情報を共有することにより、推定性能を向上させることを目的としている。
この仮定に基づく既存のMTLメソッドは、しばしば外れたタスクを無視する。
MTLRRC(MultiTask Regularized Clustering)と呼ばれる新しいMTL手法を提案する。
論文 参考訳（メタデータ） (2024-04-04T07:09:43Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。
我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。
正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
論文 参考訳（メタデータ） (2023-12-05T21:38:24Z) - When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。
このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
論文 参考訳（メタデータ） (2023-07-25T20:08:41Z) - When Does Aggregating Multiple Skills with Multi-Task Learning Work? A
Case Study in Financial NLP [22.6364117325639]
マルチタスク学習(MTL)は、複数のタスクからデータと知識を活用することにより、よりよいモデルを実現することを目的としている。
以上の結果から,MTLの成功の鍵は,スキル多様性,タスク間の関連性,集約サイズと共有能力の選択にあることが示唆された。
論文 参考訳（メタデータ） (2023-05-23T12:37:14Z) - "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint
Learning [74.14961250042629]
MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。
共同学習におけるタスク親和性の推定は重要な取り組みである。
最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。
しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
論文 参考訳（メタデータ） (2023-01-07T15:16:35Z) - When to Use Multi-Task Learning vs Intermediate Fine-Tuning for
Pre-Trained Encoder Transfer Learning [15.39115079099451]
近年,自然言語処理における伝達学習(TL)への関心が高まっている。
微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。
GLUEデータセットの包括的解析において,3つのTL手法を比較した。
論文 参考訳（メタデータ） (2022-05-17T06:48:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳（メタデータ） (2021-10-14T07:43:39Z) - Latent Group Structured Multi-task Learning [2.827177139912107]
マルチタスク学習(MTL)では,様々なタスクを共同で学習することで,鍵となる機械学習アルゴリズムの性能を向上させる。
本稿では,事前情報によって定義されたグループ構造化タスクを奨励するグループ構造化潜在空間マルチタスク学習モデルを提案する。
合成データセットと実世界のデータセットの両方で実験が行われ、シングルタスク学習よりも競争力のあるパフォーマンスを示している。
論文 参考訳（メタデータ） (2020-11-24T05:38:58Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。