論文の概要: Multi-Task Learning for Dense Prediction Tasks: A Survey

• arxiv url: http://arxiv.org/abs/2004.13379v3
• Date: Sun, 24 Jan 2021 18:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 23:17:11.453415
• Title: Multi-Task Learning for Dense Prediction Tasks: A Survey
• Title（参考訳）: 高密度予測タスクのためのマルチタスク学習:調査
• Authors: Simon Vandenhende, Stamatios Georgoulis, Wouter Van Gansbeke, Marc Proesmans, Dengxin Dai and Luc Van Gool
• Abstract要約: マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
• 参考スコア（独自算出の注目度）: 87.66280582034838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advent of deep learning, many dense prediction tasks, i.e. tasks that produce pixel-level predictions, have seen significant performance improvements. The typical approach is to learn these tasks in isolation, that is, a separate neural network is trained for each individual task. Yet, recent multi-task learning (MTL) techniques have shown promising results w.r.t. performance, computations and/or memory footprint, by jointly tackling multiple tasks through a learned shared representation. In this survey, we provide a well-rounded view on state-of-the-art deep learning approaches for MTL in computer vision, explicitly emphasizing on dense prediction tasks. Our contributions concern the following. First, we consider MTL from a network architecture point-of-view. We include an extensive overview and discuss the advantages/disadvantages of recent popular MTL models. Second, we examine various optimization methods to tackle the joint learning of multiple tasks. We summarize the qualitative elements of these works and explore their commonalities and differences. Finally, we provide an extensive experimental evaluation across a variety of dense prediction benchmarks to examine the pros and cons of the different methods, including both architectural and optimization based strategies.
• Abstract（参考訳）: ディープラーニングの出現により、ピクセルレベルの予測を生成するタスクなど、多くの密集した予測タスクが大幅にパフォーマンスが向上した。 典型的なアプローチは、これらのタスクを個別に学習すること、すなわち個々のタスクに対して独立したニューラルネットワークをトレーニングすることである。 しかし、近年のマルチタスク学習(MTL)技術は、学習された共有表現を通じて複数のタスクを共同で処理することで、パフォーマンス、計算、メモリフットプリントに関する有望な結果を示している。 本稿では,コンピュータビジョンにおけるMTLの最先端深層学習アプローチを概観し,高密度予測タスクを明確に強調する。 私たちの貢献は以下のとおりである。 まず、MTLをネットワークアーキテクチャの観点から検討する。 本稿では,最近のMTLモデルの長所と短所について概説する。 次に,複数のタスクの協調学習に取り組むための様々な最適化手法について検討する。 我々は,これらの作品の質的要素を要約し,それらの共通性と相違について考察する。 最後に,様々な密集した予測ベンチマークを用いて,アーキテクチャと最適化に基づく戦略を含む異なる手法の長所と短所を検討する実験を行った。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
  本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。 具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。 最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
  論文  参考訳（メタデータ） (2023-09-21T14:00:11Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Multi-Task Self-Supervised Learning for Image Segmentation Task [0.0]
  本稿では,深度予測と表面正規化を用いたマルチタスク学習によるセマンティックセグメンテーション性能向上のための自己指導手法を提案する。 2. マルチタスク学習に用いる異なる種類の重み付け技術(UW, Nash-MTL)の性能評価
  論文  参考訳（メタデータ） (2023-02-05T21:25:59Z)
• Multi-Task Learning for Visual Scene Understanding [7.191593674138455]
  この論文はコンピュータビジョンの文脈におけるマルチタスク学習に関するものである。 マルチタスク学習の重要な側面に対処するいくつかの手法を提案する。 その結果,マルチタスク学習の最先端にいくつかの進歩が見られた。
  論文  参考訳（メタデータ） (2022-03-28T16:57:58Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。