論文の概要: Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond

• arxiv url: http://arxiv.org/abs/2401.01219v2
• Date: Wed, 3 Jan 2024 15:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 11:14:07.106245
• Title: Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond
• Title（参考訳）: 分類課題のマルチタスク学習のための分布マッチング:顔とそれ以上の大規模研究
• Authors: Dimitrios Kollias, Viktoriia Sharmanska, Stefanos Zafeiriou
• Abstract要約: マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 62.406687088097605
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-Task Learning (MTL) is a framework, where multiple related tasks are learned jointly and benefit from a shared representation space, or parameter transfer. To provide sufficient learning support, modern MTL uses annotated data with full, or sufficiently large overlap across tasks, i.e., each input sample is annotated for all, or most of the tasks. However, collecting such annotations is prohibitive in many real applications, and cannot benefit from datasets available for individual tasks. In this work, we challenge this setup and show that MTL can be successful with classification tasks with little, or non-overlapping annotations, or when there is big discrepancy in the size of labeled data per task. We explore task-relatedness for co-annotation and co-training, and propose a novel approach, where knowledge exchange is enabled between the tasks via distribution matching. To demonstrate the general applicability of our method, we conducted diverse case studies in the domains of affective computing, face recognition, species recognition, and shopping item classification using nine datasets. Our large-scale study of affective tasks for basic expression recognition and facial action unit detection illustrates that our approach is network agnostic and brings large performance improvements compared to the state-of-the-art in both tasks and across all studied databases. In all case studies, we show that co-training via task-relatedness is advantageous and prevents negative transfer (which occurs when MT model's performance is worse than that of at least one single-task model).
• Abstract（参考訳）: マルチタスク学習(Multi-Task Learning、MTL)は、複数の関連するタスクを共同で学習し、共有表現空間またはパラメータ転送の恩恵を受けるフレームワークである。 十分な学習支援を提供するため、現代のMTLは、全タスクまたはほとんどのタスクに対して各入力サンプルがアノテートされているような、全タスク、あるいは十分に大きなオーバーラップを伴う注釈付きデータを使用する。 しかし、こうしたアノテーションの収集は多くの実際のアプリケーションでは禁止され、個々のタスクで利用可能なデータセットの恩恵を受けることはできない。 本稿では、この設定に挑戦し、MTLがほとんど、あるいは重複しないアノテーションで分類タスクを成功させることができるか、タスク毎にラベル付きデータのサイズに大きな差があるかを示す。 我々は,協調アノテーションと協調学習のためのタスク関連性を探究し,分散マッチングによるタスク間の知識交換を可能にする新しいアプローチを提案する。 本手法の適用性を実証するため,9つのデータセットを用いて情緒コンピューティング,顔認識,種別認識,ショッピングアイテム分類の分野において多様なケーススタディを行った。 表情認識と顔行動単位検出のための情緒的タスクの大規模研究は,我々のアプローチがネットワーク非依存であることを示し,研究対象と研究対象のデータベースの双方における最先端と比べ,大幅なパフォーマンス向上をもたらす。 あらゆるケーススタディにおいて、タスク関連性によるコトレーニングは有利であり、負の移動を防止する(MTモデルの性能が少なくとも1つの単一タスクモデルよりも悪い場合)。

関連論文リスト

• Joint-Task Regularization for Partially Labeled Multi-Task Learning [30.823282043129552]
  機械学習分野ではマルチタスク学習がますます人気になっているが、その実用性は大規模ラベル付きデータセットの必要性によって妨げられている。 本稿では, クロスタスク関係を利用して, 全タスクを1つのジョイントタスク潜在空間で同時に正規化する直感的手法であるジョイントタスク正規化(JTR)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T14:16:59Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• PartAL: Efficient Partial Active Learning in Multi-Task Visual Settings [57.08386016411536]
  注記すべき画像だけでなく、各アクティブラーニング(AL)にアノテーションを提供するタスクのサブセットを選択する方が効果的であることを示す。 提案手法の有効性を,複数の一般的なマルチタスクデータセットに示す。
  論文  参考訳（メタデータ） (2022-11-21T15:08:35Z)
• Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big Task [24.618094251341958]
  マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。 本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。 実験により, 現状のアプローチと比較し, その有効性を示した。
  論文  参考訳（メタデータ） (2022-01-07T02:46:47Z)
• Learning Multiple Dense Prediction Tasks from Partially Annotated Data [41.821234589075445]
  マルチタスク部分教師付き学習(multi-task part-supervised learning)と呼ぶ部分注釈付きデータ上で,複数の密接な予測タスクを共同で学習する。 本稿では,タスク関係を利用したマルチタスク学習手法を提案する。 提案手法は,既存の半教師付き学習手法や関連手法を3つの標準ベンチマークで上回り,非ラベルなタスクで効果的に活用できることを厳密に実証する。
  論文  参考訳（メタデータ） (2021-11-29T19:03:12Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
  すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。 タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。 理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-05-02T23:43:52Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。