Fugu-MT 論文翻訳(概要): A Brief Review of Deep Multi-task Learning and Auxiliary Task Learning

論文の概要: A Brief Review of Deep Multi-task Learning and Auxiliary Task Learning

arxiv url: http://arxiv.org/abs/2007.01126v1
Date: Thu, 2 Jul 2020 14:23:39 GMT
ステータス: 処理完了
システム内更新日: 2022-11-14 12:57:33.744780
Title: A Brief Review of Deep Multi-task Learning and Auxiliary Task Learning
Title（参考訳）: 深層マルチタスク学習と補助タスク学習の概観
Authors: Partoo Vafaeikia, Khashayar Namdar, Farzad Khalvati
Abstract要約: マルチタスク学習(MTL)は、複数の学習タスクを同時に最適化する。パフォーマンスを高めるために、補助的なタスクをメインタスクに追加することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-task learning (MTL) optimizes several learning tasks simultaneously and leverages their shared information to improve generalization and the prediction of the model for each task. Auxiliary tasks can be added to the main task to ultimately boost the performance. In this paper, we provide a brief review on the recent deep multi-task learning (dMTL) approaches followed by methods on selecting useful auxiliary tasks that can be used in dMTL to improve the performance of the model for the main task.
Abstract（参考訳）: マルチタスク学習(mtl)は複数の学習タスクを同時に最適化し、共有情報を活用して各タスクの一般化とモデル予測を改善する。補助タスクをメインタスクに追加すれば、最終的にパフォーマンスが向上する。本稿では,近年のDeep Multi-task Learning (dMTL) アプローチについて簡単なレビューを行い,それに続いて,本タスクのモデルの性能向上のために,dMTLで使用できる有用な補助タスクを選択する方法について述べる。

関連論文リスト

CoTBal: Comprehensive Task Balancing for Multi-Task Visual Instruction Tuning [20.58878416527427]
LMMのマルチタスク視覚的インストラクションチューニングのための新しい包括的タスクバランシングアルゴリズムを提案する。我々のCoTBalはマルチタスク・ビジュアル・インストラクション・チューニングにおける全体的な性能に優れています。
論文参考訳（メタデータ） (2024-03-07T09:11:16Z)
Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文参考訳（メタデータ） (2023-09-21T14:00:11Z)
Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。本稿では,EMTLという新しいマルチタスク最適化手法を提案する。本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文参考訳（メタデータ） (2023-06-15T03:37:23Z)
Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文参考訳（メタデータ） (2023-05-22T16:56:44Z)
Transfer Learning in Conversational Analysis through Reusing Preprocessing Data as Supervisors [52.37504333689262]
単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
論文参考訳（メタデータ） (2021-12-02T08:40:42Z)
Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文参考訳（メタデータ） (2021-11-09T18:49:45Z)
Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文参考訳（メタデータ） (2021-10-14T07:43:39Z)
Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
論文参考訳（メタデータ） (2020-10-29T08:25:43Z)
Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文参考訳（メタデータ） (2020-09-10T19:31:04Z)
HydaLearn: Highly Dynamic Task Weighting for Multi-task Learning with Auxiliary Tasks [4.095907708855597]
マルチタスク学習(MTL)は、1つ以上の関連する補助タスクと表現を共有することでタスクのパフォーマンスを向上させることができる。通常、MTL-networksは、個別のタスク損失の一定の重み付けによる複合損失関数に基づいて訓練される。実際には, 一定損失重みは, (i) ミニバッチに基づく最適化において, 最適タスク重みは, ミニバッチのサンプル組成に応じて, 更新から次へと大きく変化する。メインタスクのゲインを個別のタスク勾配に結びつけるインテリジェントな重み付けアルゴリズムであるHydaLearnを導入して,その情報を伝達する。
論文参考訳（メタデータ） (2020-08-26T16:04:02Z)
Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。