論文の概要: Mitigating Task Interference in Multi-Task Learning via Explicit Task
Routing with Non-Learnable Primitives
- arxiv url: http://arxiv.org/abs/2308.02066v1
- Date: Thu, 3 Aug 2023 22:34:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 14:22:51.780437
- Title: Mitigating Task Interference in Multi-Task Learning via Explicit Task
Routing with Non-Learnable Primitives
- Title（参考訳）: 非学習者による明示的タスクルーティングによるマルチタスク学習におけるタスク干渉の軽減
- Authors: Chuntao Ding, Zhichao Lu, Shangguang Wang, Ran Cheng and Vishnu Naresh
Boddeti
- Abstract要約: マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。
既存のMLLモデルはタスク間の負の干渉に悩まされていることが知られている。
本研究では,非学習可能なプリミティブと明示的なタスクルーティングの相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
- 参考スコア（独自算出の注目度）: 19.90788777476128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning (MTL) seeks to learn a single model to accomplish
multiple tasks by leveraging shared information among the tasks. Existing MTL
models, however, have been known to suffer from negative interference among
tasks. Efforts to mitigate task interference have focused on either
loss/gradient balancing or implicit parameter partitioning with partial
overlaps among the tasks. In this paper, we propose ETR-NLP to mitigate task
interference through a synergistic combination of non-learnable primitives
(NLPs) and explicit task routing (ETR). Our key idea is to employ non-learnable
primitives to extract a diverse set of task-agnostic features and recombine
them into a shared branch common to all tasks and explicit task-specific
branches reserved for each task. The non-learnable primitives and the explicit
decoupling of learnable parameters into shared and task-specific ones afford
the flexibility needed for minimizing task interference. We evaluate the
efficacy of ETR-NLP networks for both image-level classification and
pixel-level dense prediction MTL problems. Experimental results indicate that
ETR-NLP significantly outperforms state-of-the-art baselines with fewer
learnable parameters and similar FLOPs across all datasets. Code is available
at this \href{https://github.com/zhichao-lu/etr-nlp-mtl}.
- Abstract（参考訳）: マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。
しかし、既存のMTLモデルはタスク間の負の干渉に悩まされていることが知られている。
タスク干渉を軽減するための努力は、タスク間の部分的な重複を伴う損失/段階的バランスや暗黙的なパラメータ分割に重点を置いている。
本稿では,非学習可能プリミティブ(NLP)と明示的タスクルーティング(ETR)の相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
私たちの重要なアイデアは、さまざまなタスクに依存しない機能のセットを抽出し、それらをすべてのタスクに共通する共有ブランチと各タスクに予約されたタスク固有のブランチに再結合するために、非学習可能なプリミティブを採用することです。
学習不能なプリミティブと学習可能なパラメータを共有およびタスク固有のプリミティブに明示的に分離することで、タスクの干渉を最小限に抑えるための柔軟性が得られる。
画像レベルの分類と画素レベルの高密度予測MLL問題に対するETR-NLPネットワークの有効性を評価する。
実験結果から,ETR-NLPは,学習可能なパラメータが少なく,すべてのデータセットに共通するFLOPで最先端のベースラインを著しく上回ることがわかった。
コードは、この \href{https://github.com/zhichao-lu/etr-nlp-mtl}で入手できる。
関連論文リスト
- Multi-task learning via robust regularized clustering with non-convex group penalties [0.0]
マルチタスク学習(MTL)は、関連するタスク間で共通情報を共有することにより、推定性能を向上させることを目的としている。
この仮定に基づく既存のMTLメソッドは、しばしば外れたタスクを無視する。
MTLRRC(MultiTask Regularized Clustering)と呼ばれる新しいMTL手法を提案する。
論文 参考訳（メタデータ） (2024-04-04T07:09:43Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-30T14:28:26Z) - Deep Task-specific Bottom Representation Network for Multi-Task
Recommendation [36.128708266100645]
本稿では,Deep Task-specific Bottom Representation Network (DTRN)を提案する。
提案した2つのモジュールは、タスクの相互干渉を緩和するためにタスク固有のボトム表現を得る目的を達成することができる。
論文 参考訳（メタデータ） (2023-08-11T08:04:43Z) - Sample-Level Weighting for Multi-Task Learning with Auxiliary Tasks [0.0]
マルチタスク学習(MTL)は、関連するタスクと表現を共有することにより、ニューラルネットワークの一般化性能を向上させることができる。
MTLはまた、タスク間の有害な干渉によってパフォーマンスを低下させる。
補助タスクを用いたマルチタスク学習のためのサンプルレベル重み付けアルゴリズムであるSLGradを提案する。
論文 参考訳（メタデータ） (2023-06-07T15:29:46Z) - ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。
複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。
ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文 参考訳（メタデータ） (2023-01-30T02:27:02Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳（メタデータ） (2022-04-16T00:56:12Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳（メタデータ） (2021-10-14T07:43:39Z) - Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task
Feature Learning [0.0]
マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。
非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。
2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
論文 参考訳（メタデータ） (2020-12-17T13:30:45Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z) - Deeper Task-Specificity Improves Joint Entity and Relation Extraction [0.0]
マルチタスク学習(MTL)は、関連するタスクを学習するための効果的な方法であるが、MTLモデルを設計するには、どのパラメータをタスク固有のものにするかを決定する必要がある。
本稿では,従来の作業よりも深いタスク特異性を実現するニューラルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-02-15T18:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。