論文の概要: Multi-Task Learning with Deep Neural Networks: A Survey
- arxiv url: http://arxiv.org/abs/2009.09796v1
- Date: Thu, 10 Sep 2020 19:31:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 02:33:18.312470
- Title: Multi-Task Learning with Deep Neural Networks: A Survey
- Title（参考訳）: ディープニューラルネットワークを用いたマルチタスク学習:サーベイ
- Authors: Michael Crawshaw
- Abstract要約: マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。
深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning (MTL) is a subfield of machine learning in which multiple
tasks are simultaneously learned by a shared model. Such approaches offer
advantages like improved data efficiency, reduced overfitting through shared
representations, and fast learning by leveraging auxiliary information.
However, the simultaneous learning of multiple tasks presents new design and
optimization challenges, and choosing which tasks should be learned jointly is
in itself a non-trivial problem. In this survey, we give an overview of
multi-task learning methods for deep neural networks, with the aim of
summarizing both the well-established and most recent directions within the
field. Our discussion is structured according to a partition of the existing
deep MTL techniques into three groups: architectures, optimization methods, and
task relationship learning. We also provide a summary of common multi-task
benchmarks.
- Abstract（参考訳）: マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。
このようなアプローチは、データ効率の向上、共有表現によるオーバーフィッティングの削減、補助情報を活用した高速学習などの利点を提供する。
しかし、複数のタスクの同時学習は、新しい設計と最適化の課題を示し、どのタスクを共同で学ぶべきかを選択することは、それ自体は自明な問題ではない。
本稿では,深層ニューラルネットワークのためのマルチタスク学習手法の概要を,この分野における確立された方向と最新の方向の両方を要約することを目的とした。
我々の議論は,既存の深層MLL手法をアーキテクチャ,最適化手法,タスク関係学習の3つのグループに分割して構成されている。
また、共通マルチタスクベンチマークの概要も提供します。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。
具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。
最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文 参考訳（メタデータ） (2023-09-21T14:00:11Z) - DenseMTL: Cross-task Attention Mechanism for Dense Multi-task Learning [18.745373058797714]
本稿では,相互に相互にタスクを交換するマルチタスク学習アーキテクチャを提案する。
我々は3つのマルチタスク・セットアップにまたがって広範な実験を行い、合成および実世界のベンチマークにおいて競合するベースラインと比較して、我々のアプローチの利点を示している。
論文 参考訳（メタデータ） (2022-06-17T17:59:45Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳（メタデータ） (2022-04-16T00:56:12Z) - Multi-Task Learning for Visual Scene Understanding [7.191593674138455]
この論文はコンピュータビジョンの文脈におけるマルチタスク学習に関するものである。
マルチタスク学習の重要な側面に対処するいくつかの手法を提案する。
その結果,マルチタスク学習の最先端にいくつかの進歩が見られた。
論文 参考訳（メタデータ） (2022-03-28T16:57:58Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳（メタデータ） (2021-10-14T07:43:39Z) - Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。
合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。
次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文 参考訳（メタデータ） (2021-09-15T21:19:11Z) - Boosting Share Routing for Multi-task Learning [0.12891210250935145]
マルチタスク学習(MTL)は、マルチタスク監視信号に含まれる知識をフル活用して、全体的なパフォーマンスを向上させることを目的としている。
複数のタスクの知識を適切に共有する方法は、MTLにとってオープンな問題である。
本稿では,MTNAS(Multi-Task Neural Architecture Search)と呼ばれる汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-01T12:37:19Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。