論文の概要: Heterogeneous Multi-task Learning with Expert Diversity
- arxiv url: http://arxiv.org/abs/2106.10595v1
- Date: Sun, 20 Jun 2021 01:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 14:18:22.803050
- Title: Heterogeneous Multi-task Learning with Expert Diversity
- Title(参考訳): 専門的多様性を持つ異種多タスク学習
- Authors: Raquel Aoki, Frederick Tung and Gabriel L. Oliveira
- Abstract要約: そこで我々は,高度不均衡で異種なMTL学習に適した表現を,専門家の間でより多様な表現を導き出すアプローチを提案する。
我々は,集中治療のための医療情報マート (MIMIC-III) と PubChem Bio Assay (PCBA) の3つのMTLベンチマークデータセットに対して,本手法の有効性を検証した。
- 参考スコア(独自算出の注目度): 15.714385295889944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predicting multiple heterogeneous biological and medical targets is a
challenge for traditional deep learning models. In contrast to single-task
learning, in which a separate model is trained for each target, multi-task
learning (MTL) optimizes a single model to predict multiple related targets
simultaneously. To address this challenge, we propose the Multi-gate
Mixture-of-Experts with Exclusivity (MMoEEx). Our work aims to tackle the
heterogeneous MTL setting, in which the same model optimizes multiple tasks
with different characteristics. Such a scenario can overwhelm current MTL
approaches due to the challenges in balancing shared and task-specific
representations and the need to optimize tasks with competing optimization
paths. Our method makes two key contributions: first, we introduce an approach
to induce more diversity among experts, thus creating representations more
suitable for highly imbalanced and heterogenous MTL learning; second, we adopt
a two-step optimization [6, 11] approach to balancing the tasks at the gradient
level. We validate our method on three MTL benchmark datasets, including
Medical Information Mart for Intensive Care (MIMIC-III) and PubChem BioAssay
(PCBA).
- Abstract(参考訳): 複数の異質な生物学的および医学的ターゲットを予測することは、従来のディープラーニングモデルの課題である。
目標毎に個別のモデルを訓練するシングルタスク学習とは対照的に、マルチタスク学習(MTL)は単一のモデルを最適化し、複数の関連するターゲットを同時に予測する。
この課題に対処するため,MMOEEx(Multi-gate Mixture-of-Experts with Exclusivity)を提案する。
本研究の目的は、同一モデルが異なる特徴を持つ複数のタスクを最適化する異種MPL設定に取り組むことである。
このようなシナリオは、共有およびタスク固有の表現のバランスと、競合する最適化パスでタスクを最適化する必要があるため、現在のmtlアプローチを圧倒することができる。
提案手法は2つの重要な貢献をする: まず, 専門家間でより多様性を誘導する手法を導入し, 高度に不均衡で不均質なmtl学習に適した表現を作成する。
本手法は,MIMIC-III (Messical Information Mart for Intensive Care) とPCBA (PubChem BioAssay) の3つのMTLベンチマークデータセットに対して検証を行った。
関連論文リスト
- AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。
具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。
最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文 参考訳(メタデータ) (2023-09-21T14:00:11Z) - When Multi-Task Learning Meets Partial Supervision: A Computer Vision
Review [6.789370732159176]
マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。
このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
論文 参考訳(メタデータ) (2023-07-25T20:08:41Z) - Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。
本稿では,EMTLという新しいマルチタスク最適化手法を提案する。
本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文 参考訳(メタデータ) (2023-06-15T03:37:23Z) - Multi-task Highly Adaptive Lasso [1.4680035572775534]
マルチタスク学習のための新しい非パラメトリックアプローチであるマルチタスク高適応ラッソ(MT-HAL)を提案する。
MT-HALは、共通モデルにとって重要な特徴、サンプル、タスク関連を同時に学習し、類似したタスク間で共有スパース構造を付与する。
MT-HALは、幅広いシミュレーション研究において、スパーシティーベースのMTL競合よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-01-27T23:46:57Z) - Task Aware Feature Extraction Framework for Sequential Dependence
Multi-Task Learning [1.0765359420035392]
我々は厳密な数学的観点から逐次依存型MLLを解析する。
逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-06T13:12:59Z) - Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。
単一モデルのトレーニング中に、このマッチングプロセスを最適化する。
13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2022-12-15T18:59:52Z) - M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task
Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。
現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。
効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-26T15:40:24Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳(メタデータ) (2022-02-02T13:21:53Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳(メタデータ) (2021-11-09T18:49:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳(メタデータ) (2021-10-14T07:43:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。