論文の概要: Identifying Auxiliary or Adversarial Tasks Using Necessary Condition
Analysis for Adversarial Multi-task Video Understanding
- arxiv url: http://arxiv.org/abs/2208.10077v1
- Date: Mon, 22 Aug 2022 06:26:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:22:51.462401
- Title: Identifying Auxiliary or Adversarial Tasks Using Necessary Condition
Analysis for Adversarial Multi-task Video Understanding
- Title(参考訳): 必要条件解析を用いた多タスク理解のための補助タスクや逆タスクの同定
- Authors: Stephen Su, Samuel Kwong, Qingyu Zhao, De-An Huang, Juan Carlos
Niebles, Ehsan Adeli
- Abstract要約: 本稿では,モデルが適切に動作すべき補助タスクと,モデルがうまく動作すべきでない逆タスクの両方を組み込むことで,マルチタスク学習の一般化概念を提案する。
提案する新たなフレームワークであるAMT(Adversarial Multi-Task Neural Networks)は,NAAがシーン認識であると判断した敵タスクをペナルティ化する。
提案手法は, 精度を3%向上させるとともに, 相関バイアスのシーン特徴ではなく, アクション特徴への参画を促す。
- 参考スコア(独自算出の注目度): 34.75145779372538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There has been an increasing interest in multi-task learning for video
understanding in recent years. In this work, we propose a generalized notion of
multi-task learning by incorporating both auxiliary tasks that the model should
perform well on and adversarial tasks that the model should not perform well
on. We employ Necessary Condition Analysis (NCA) as a data-driven approach for
deciding what category these tasks should fall in. Our novel proposed
framework, Adversarial Multi-Task Neural Networks (AMT), penalizes adversarial
tasks, determined by NCA to be scene recognition in the Holistic Video
Understanding (HVU) dataset, to improve action recognition. This upends the
common assumption that the model should always be encouraged to do well on all
tasks in multi-task learning. Simultaneously, AMT still retains all the
benefits of multi-task learning as a generalization of existing methods and
uses object recognition as an auxiliary task to aid action recognition. We
introduce two challenging Scene-Invariant test splits of HVU, where the model
is evaluated on action-scene co-occurrences not encountered in training. We
show that our approach improves accuracy by ~3% and encourages the model to
attend to action features instead of correlation-biasing scene features.
- Abstract(参考訳): 近年,ビデオ理解のためのマルチタスク学習への関心が高まっている。
本研究では,モデルが適切に動作すべき補助タスクと,モデルがうまく動作すべきでない逆タスクの両方を組み込むことで,マルチタスク学習の概念を一般化する。
必要な条件分析(NCA)は、これらのタスクがどのカテゴリに入るべきかを決定するためのデータ駆動型アプローチである。
提案するフレームワークであるAMT(Adversarial Multi-Task Neural Networks)は,NCAがHVU(Holistic Video Understanding)データセットのシーン認識と判断した対向タスクをペナルティ化し,アクション認識を改善する。
これは、モデルが常にマルチタスク学習のすべてのタスクでうまく機能するように奨励されるべきという共通の仮定を覆す。
同時に、ATTは既存の手法の一般化としてマルチタスク学習の利点をすべて保持し、アクション認識を支援する補助タスクとしてオブジェクト認識を使用している。
HVUの2つの挑戦的なScene-Invariantテストスプリットを導入し、トレーニング中に遭遇しないアクションシーンのコクレンスに基づいてモデルを評価する。
提案手法は,約3%の精度向上を実現し,相関バイアスのあるシーン特徴ではなく,アクション特徴への参画を促す。
関連論文リスト
- Temporal2Seq: A Unified Framework for Temporal Video Understanding Tasks [26.007846170517055]
本研究では、時間的ビデオ理解タスクの出力を離散トークンのシーケンスとして定式化するために、Temporal2Seqと呼ばれる単一の統合フレームワークを提案する。
この統一されたトークン表現により、Temporal2Seqは、異なるビデオ理解タスクで単一のアーキテクチャ内でジェネラリストモデルをトレーニングすることができる。
我々はTemporal2Seqジェネリストモデルを3つのタスクの対応するテストセット上で評価し、Temporal2Seqが様々なタスクに対して合理的な結果が得られることを示した。
論文 参考訳(メタデータ) (2024-09-27T06:37:47Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。
自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文 参考訳(メタデータ) (2022-10-13T17:59:16Z) - Explaining the Effectiveness of Multi-Task Learning for Efficient
Knowledge Extraction from Spine MRI Reports [2.5953185061765884]
一つのマルチタスクモデルがタスク固有のモデルの性能にマッチすることを示す。
内科医による頚椎, 腰椎への注視所見について検討した。
論文 参考訳(メタデータ) (2022-05-06T01:51:19Z) - Human-Centered Prior-Guided and Task-Dependent Multi-Task Representation
Learning for Action Recognition Pre-Training [8.571437792425417]
本稿では,人間中心の事前知識を利用した行動認識事前学習フレームワークを提案する。
具体的には、人間の構文解析モデルから知識を抽出し、表現の意味的能力を強化する。
さらに,知識蒸留とコントラスト学習を組み合わせることで,タスク依存型マルチタスクフレームワークを構成する。
論文 参考訳(メタデータ) (2022-04-27T06:51:31Z) - On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
マルチタスク学習の研究はコミュニティから大きな注目を集めている。
目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。
従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。
本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。
さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
論文 参考訳(メタデータ) (2022-03-06T11:57:18Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳(メタデータ) (2022-02-28T16:07:19Z) - Multi-View representation learning in Multi-Task Scene [4.509968166110557]
我々は,MTMVCSF(Common and Special Features)に基づくマルチタスク多視点学習(multi-Task Multi-View learning)と呼ばれる,新しい半教師付きアルゴリズムを提案する。
AN-MTMVCSFと呼ばれるマルチタスク・マルチタスク・マルチビュー・アルゴリズムが提案されている。
これらのアルゴリズムの有効性は、実世界と合成データの双方でよく設計された実験によって証明される。
論文 参考訳(メタデータ) (2022-01-15T11:26:28Z) - Learning to Relate Depth and Semantics for Unsupervised Domain
Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。
本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。
さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文 参考訳(メタデータ) (2021-05-17T13:42:09Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳(メタデータ) (2021-05-08T22:26:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。