論文の概要: Heterogeneous Multi-task Learning with Expert Diversity

• arxiv url: http://arxiv.org/abs/2106.10595v1
• Date: Sun, 20 Jun 2021 01:30:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 14:18:22.803050
• Title: Heterogeneous Multi-task Learning with Expert Diversity
• Title（参考訳）: 専門的多様性を持つ異種多タスク学習
• Authors: Raquel Aoki, Frederick Tung and Gabriel L. Oliveira
• Abstract要約: そこで我々は,高度不均衡で異種なMTL学習に適した表現を,専門家の間でより多様な表現を導き出すアプローチを提案する。 我々は,集中治療のための医療情報マート (MIMIC-III) と PubChem Bio Assay (PCBA) の3つのMTLベンチマークデータセットに対して,本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 15.714385295889944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting multiple heterogeneous biological and medical targets is a challenge for traditional deep learning models. In contrast to single-task learning, in which a separate model is trained for each target, multi-task learning (MTL) optimizes a single model to predict multiple related targets simultaneously. To address this challenge, we propose the Multi-gate Mixture-of-Experts with Exclusivity (MMoEEx). Our work aims to tackle the heterogeneous MTL setting, in which the same model optimizes multiple tasks with different characteristics. Such a scenario can overwhelm current MTL approaches due to the challenges in balancing shared and task-specific representations and the need to optimize tasks with competing optimization paths. Our method makes two key contributions: first, we introduce an approach to induce more diversity among experts, thus creating representations more suitable for highly imbalanced and heterogenous MTL learning; second, we adopt a two-step optimization [6, 11] approach to balancing the tasks at the gradient level. We validate our method on three MTL benchmark datasets, including Medical Information Mart for Intensive Care (MIMIC-III) and PubChem BioAssay (PCBA).
• Abstract（参考訳）: 複数の異質な生物学的および医学的ターゲットを予測することは、従来のディープラーニングモデルの課題である。 目標毎に個別のモデルを訓練するシングルタスク学習とは対照的に、マルチタスク学習(MTL)は単一のモデルを最適化し、複数の関連するターゲットを同時に予測する。 この課題に対処するため,MMOEEx(Multi-gate Mixture-of-Experts with Exclusivity)を提案する。 本研究の目的は、同一モデルが異なる特徴を持つ複数のタスクを最適化する異種MPL設定に取り組むことである。 このようなシナリオは、共有およびタスク固有の表現のバランスと、競合する最適化パスでタスクを最適化する必要があるため、現在のmtlアプローチを圧倒することができる。 提案手法は2つの重要な貢献をする: まず, 専門家間でより多様性を誘導する手法を導入し, 高度に不均衡で不均質なmtl学習に適した表現を作成する。 本手法は,MIMIC-III (Messical Information Mart for Intensive Care) とPCBA (PubChem BioAssay) の3つのMTLベンチマークデータセットに対して検証を行った。

関連論文リスト

• AdapMTL: Adaptive Pruning Framework for Multitask Learning Model [5.643658120200373]
  AdapMTLはマルチタスクモデルのための適応型プルーニングフレームワークである。 複数のタスクにまたがって、空間割り当てと精度のパフォーマンスのバランスをとる。 最先端の刈り取り法に比べて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-07T17:19:15Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• MTLComb: multi-task learning combining regression and classification tasks for joint feature selection [3.708475728683911]
  マルチタスク学習(Multi-task learning、MTL)は、複数の通信アルゴリズムの同時学習を可能にする学習パラダイムである。 本稿では、回帰と分類タスクのバランスをとるための最適な重み付けを解析的に決定する、証明可能な損失重み付け手法を提案する。 MTLアルゴリズムとソフトウェアパッケージであるMTLCombを導入し、最適化手順、トレーニングプロトコル、ハイパーパラメータ推定手順を紹介する。
  論文  参考訳（メタデータ） (2024-05-16T08:07:25Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
  マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。 このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-25T20:08:41Z)
• Multi-task Highly Adaptive Lasso [1.4680035572775534]
  マルチタスク学習のための新しい非パラメトリックアプローチであるマルチタスク高適応ラッソ(MT-HAL)を提案する。 MT-HALは、共通モデルにとって重要な特徴、サンプル、タスク関連を同時に学習し、類似したタスク間で共有スパース構造を付与する。 MT-HALは、幅広いシミュレーション研究において、スパーシティーベースのMTL競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-27T23:46:57Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。