論文の概要: Ensemble Prediction of Task Affinity for Efficient Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2602.18591v1
- Date: Fri, 20 Feb 2026 19:57:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.181684
- Title: Ensemble Prediction of Task Affinity for Efficient Multi-Task Learning
- Title(参考訳): 効率的なマルチタスク学習のためのタスク親和性のアンサンブル予測
- Authors: Afiya Ayman, Ayan Mukhopadhyay, Aron Laszka,
- Abstract要約: MTLの性能向上を予測するために,原則とデータ駆動型推定器を統合したスケーラブルなフレームワークであるETAP(Ensemble Task Affinity Predictor)を提案する。
我々は、ETAPがMPLゲイン予測を改善し、より効率的なタスクグループ化を可能にし、多様なアプリケーションドメインで最先端のベースラインを達成できることを実証した。
- 参考スコア(独自算出の注目度): 8.604749005323557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A fundamental problem in multi-task learning (MTL) is identifying groups of tasks that should be learned together. Since training MTL models for all possible combinations of tasks is prohibitively expensive for large task sets, a crucial component of efficient and effective task grouping is predicting whether a group of tasks would benefit from learning together, measured as per-task performance gain over single-task learning. In this paper, we propose ETAP (Ensemble Task Affinity Predictor), a scalable framework that integrates principled and data-driven estimators to predict MTL performance gains. First, we consider the gradient-based updates of shared parameters in an MTL model to measure the affinity between a pair of tasks as the similarity between the parameter updates based on these tasks. This linear estimator, which we call affinity score, naturally extends to estimating affinity within a group of tasks. Second, to refine these estimates, we train predictors that apply non-linear transformations and correct residual errors, capturing complex and non-linear task relationships. We train these predictors on a limited number of task groups for which we obtain ground-truth gain values via multi-task learning for each group. We demonstrate on benchmark datasets that ETAP improves MTL gain prediction and enables more effective task grouping, outperforming state-of-the-art baselines across diverse application domains.
- Abstract(参考訳): マルチタスク学習(MTL)における根本的な問題は、一緒に学ぶべきタスクのグループを特定することである。
タスクの可能な組み合わせに対するMTLモデルをトレーニングすることは、大きなタスクセットにとって違法に高価であるため、効率的かつ効果的なタスクグループ化の重要な要素は、タスク群がシングルタスク学習よりもタスク毎のパフォーマンス向上として、一緒に学習することのメリットを予測することである。
本稿では,MPLの性能向上を予測するために,原則とデータ駆動型推定器を統合したスケーラブルなフレームワークであるETAP(Ensemble Task Affinity Predictor)を提案する。
まず,2つのタスク間の親和性を評価するため,MTLモデルにおける共有パラメータの勾配に基づく更新を,これらのタスクに基づくパラメータ更新の類似性として検討する。
この線形推定器は、我々がアフィニティスコア(affinity score)と呼ぶもので、自然にタスク群内のアフィニティを推定する。
第二に、これらの推定を洗練させるために、非線形変換を適用し、残差誤差を正し、複雑かつ非線形なタスク関係をキャプチャする予測器を訓練する。
我々はこれらの予測器を限られた数のタスクグループで訓練し、各グループに対するマルチタスク学習を通して、地道的なゲイン値を得る。
ベンチマークデータセットでは、ETAPがMTLゲイン予測を改善し、より効率的なタスクグループ化を可能にし、多様なアプリケーションドメインで最先端のベースラインを上回ります。
関連論文リスト
- Identifying Task Groupings for Multi-Task Learning Using Pointwise V-Usable Information [11.545160697026514]
ポイントワイド V-Uable Information (PVI) を用いたタスク難易度に基づくタスク関連度尺度を提案する。
我々は, 一般, バイオメディカル, 臨床領域において, 15個のNLPデータセットを用いたタスクグループ化の実現可能性を評価する実験を行った。
論文 参考訳(メタデータ) (2024-10-16T17:49:45Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳(メタデータ) (2024-06-12T08:30:16Z) - Multi-task learning via robust regularized clustering with non-convex group penalties [0.0]
マルチタスク学習(MTL)は、関連するタスク間で共通情報を共有することにより、推定性能を向上させることを目的としている。
この仮定に基づく既存のMTLメソッドは、しばしば外れたタスクを無視する。
MTLRRC(MultiTask Regularized Clustering)と呼ばれる新しいMTL手法を提案する。
論文 参考訳(メタデータ) (2024-04-04T07:09:43Z) - Mitigating Task Interference in Multi-Task Learning via Explicit Task
Routing with Non-Learnable Primitives [19.90788777476128]
マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。
既存のMLLモデルはタスク間の負の干渉に悩まされていることが知られている。
本研究では,非学習可能なプリミティブと明示的なタスクルーティングの相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
論文 参考訳(メタデータ) (2023-08-03T22:34:16Z) - "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint
Learning [74.14961250042629]
MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。
共同学習におけるタスク親和性の推定は重要な取り組みである。
最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。
しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
論文 参考訳(メタデータ) (2023-01-07T15:16:35Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳(メタデータ) (2021-11-09T18:49:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳(メタデータ) (2021-10-14T07:43:39Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳(メタデータ) (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。