論文の概要: Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study

• arxiv url: http://arxiv.org/abs/2105.03790v1
• Date: Sat, 8 May 2021 22:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 14:56:50.270369
• Title: Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study
• Title（参考訳）: 不均質なマルチタスク学習のための分布マッチング:大規模顔研究
• Authors: Dimitrios Kollias and Viktoriia Sharmanska and Stefanos Zafeiriou
• Abstract要約: マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
• 参考スコア（独自算出の注目度）: 75.42182503265056
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-Task Learning has emerged as a methodology in which multiple tasks are jointly learned by a shared learning algorithm, such as a DNN. MTL is based on the assumption that the tasks under consideration are related; therefore it exploits shared knowledge for improving performance on each individual task. Tasks are generally considered to be homogeneous, i.e., to refer to the same type of problem. Moreover, MTL is usually based on ground truth annotations with full, or partial overlap across tasks. In this work, we deal with heterogeneous MTL, simultaneously addressing detection, classification & regression problems. We explore task-relatedness as a means for co-training, in a weakly-supervised way, tasks that contain little, or even non-overlapping annotations. Task-relatedness is introduced in MTL, either explicitly through prior expert knowledge, or through data-driven studies. We propose a novel distribution matching approach, in which knowledge exchange is enabled between tasks, via matching of their predictions' distributions. Based on this approach, we build FaceBehaviorNet, the first framework for large-scale face analysis, by jointly learning all facial behavior tasks. We develop case studies for: i) continuous affect estimation, action unit detection, basic emotion recognition; ii) attribute detection, face identification. We illustrate that co-training via task relatedness alleviates negative transfer. Since FaceBehaviorNet learns features that encapsulate all aspects of facial behavior, we conduct zero-/few-shot learning to perform tasks beyond the ones that it has been trained for, such as compound emotion recognition. By conducting a very large experimental study, utilizing 10 databases, we illustrate that our approach outperforms, by large margins, the state-of-the-art in all tasks and in all databases, even in these which have not been used in its training.
• Abstract（参考訳）: マルチタスク学習は、DNNのような共有学習アルゴリズムによって複数のタスクが共同で学習される方法論として登場した。 MTLは、検討中のタスクが関連しているという仮定に基づいており、個々のタスクのパフォーマンスを改善するために共有知識を利用する。 タスクは一般に、同じタイプの問題を参照するために、均質であるとみなされる。 さらに、MTLは通常、タスク間の完全な、または部分的な重複を伴う地上の真理アノテーションに基づいている。 本研究では, 検出, 分類, 回帰問題を同時に扱うヘテロジニアス MTL を扱う。 タスク関連性は、ほとんど含まない、あるいは重複しないアノテーションを含むタスクを、協調トレーニング、弱教師付き方法で探索する。 タスク関連性(task-relatedness)はmtlで導入され、事前の知識を通じて、あるいはデータ駆動の研究を通じて明示的に行われる。 本稿では,タスク間の知識交換を可能にする新しい分布マッチング手法を提案する。 このアプローチに基づいて,顔行動タスクを共同学習することにより,顔分析のための最初のフレームワークであるfacebehaviornetを構築した。 本研究は, 連続的影響推定, 行動単位検出, 基本的な感情認識, 属性検出, 顔識別のためのケーススタディを開発する。 タスク関連性によるコトレーニングが負の伝達を緩和することを示す。 facebehaviornetは、顔の行動のあらゆる側面をカプセル化する特徴を学習するので、複合感情認識のような訓練を受けたもの以外のタスクを実行するためにゼロ/フェウショット学習を行う。 10のデータベースを用いた非常に大規模な実験を行い,そのアプローチが,すべてのタスクやすべてのデータベースにおいて,トレーニングに使用されていないデータベースにおいても,大きなマージンで最先端のデータベースよりも優れていることを証明した。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Learning Multiple Dense Prediction Tasks from Partially Annotated Data [41.821234589075445]
  マルチタスク部分教師付き学習(multi-task part-supervised learning)と呼ぶ部分注釈付きデータ上で,複数の密接な予測タスクを共同で学習する。 本稿では,タスク関係を利用したマルチタスク学習手法を提案する。 提案手法は,既存の半教師付き学習手法や関連手法を3つの標準ベンチマークで上回り,非ラベルなタスクで効果的に活用できることを厳密に実証する。
  論文  参考訳（メタデータ） (2021-11-29T19:03:12Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。