論文の概要: Cross-subject Action Unit Detection with Meta Learning and
Transformer-based Relation Modeling
- arxiv url: http://arxiv.org/abs/2205.08787v1
- Date: Wed, 18 May 2022 08:17:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 13:00:50.260271
- Title: Cross-subject Action Unit Detection with Meta Learning and
Transformer-based Relation Modeling
- Title（参考訳）: メタラーニングとトランスフォーマーに基づく関係モデリングを用いたクロスオブジェクト動作単位検出
- Authors: Jiyuan Cao, Zhilei Liu, Yong Zhang
- Abstract要約: メタラーニングに基づくクロスオブジェクトAU検出モデルを提案する。
複数のAUの潜伏関係を学習するために、トランスフォーマーに基づく関係学習モジュールを導入する。
提案手法は,2つの公開データセットBP4DとdisFAにおいて,最先端技術よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 7.395396464857193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial Action Unit (AU) detection is a crucial task for emotion analysis from
facial movements. The apparent differences of different subjects sometimes
mislead changes brought by AUs, resulting in inaccurate results. However, most
of the existing AU detection methods based on deep learning didn't consider the
identity information of different subjects. The paper proposes a
meta-learning-based cross-subject AU detection model to eliminate the
identity-caused differences. Besides, a transformer-based relation learning
module is introduced to learn the latent relations of multiple AUs. To be
specific, our proposed work is composed of two sub-tasks. The first sub-task is
meta-learning-based AU local region representation learning, called MARL, which
learns discriminative representation of local AU regions that incorporates the
shared information of multiple subjects and eliminates identity-caused
differences. The second sub-task uses the local region representation of AU of
the first sub-task as input, then adds relationship learning based on the
transformer encoder architecture to capture AU relationships. The entire
training process is cascaded. Ablation study and visualization show that our
MARL can eliminate identity-caused differences, thus obtaining a robust and
generalized AU discriminative embedding representation. Our results prove that
on the two public datasets BP4D and DISFA, our method is superior to the
state-of-the-art technology, and the F1 score is improved by 1.3% and 1.4%,
respectively.
- Abstract（参考訳）: 顔の動きから感情分析を行う上で,顔行動単位(AU)検出は重要な課題である。
異なる被験者の明らかな相違は、しばしばAUによる変化を誤解させ、結果として不正確な結果をもたらす。
しかし,既存の深層学習に基づくAU検出手法の多くは,異なる被験者の身元情報を考慮しなかった。
本稿では,同一性に起因した差異を排除するために,メタラーニングに基づくクロスサブジェクトau検出モデルを提案する。
さらに、複数のAUの潜伏関係を学習するために、トランスフォーマーに基づく関係学習モジュールを導入する。
具体的には,2つのサブタスクから構成される。
最初のサブタスクはメタラーニングに基づくAUローカルリージョン表現学習(MARL)であり、複数の被験者の共有情報を組み込んだローカルAUリージョンの識別表現を学習し、同一性に起因する差異を排除する。
第2のサブタスクは、第1のサブタスクのAUの局所領域表現を入力として使用した後、トランスフォーマーエンコーダアーキテクチャに基づいた関係学習を加えてAU関係をキャプチャする。
トレーニングプロセス全体がカスケードされます。
アブレーション研究と可視化により,我々のmarlは同一性に起因する差異を排除できることが示された。
その結果、bp4dとdisfaの2つのパブリックデータセットにおいて、この手法は最先端技術よりも優れており、f1スコアがそれぞれ1.3%と1.4%向上していることが分かった。
関連論文リスト
- Representation Learning and Identity Adversarial Training for Facial Behavior Understanding [3.350769246260559]
主観的同一性はモデルに対するショートカット学習を提供し、AU予測に対する準最適解をもたらすことを示す。
我々はIAT(Identity Adrial Training)を提案し、アイデンティティ不変の特徴を学習するために強力なIAT正規化が必要であることを実証する。
提案手法であるFMAE(Facial Masked Autoencoder)とIATは単純で汎用的で効果的である。
論文 参考訳（メタデータ） (2024-07-15T21:13:28Z) - Contrastive Learning of Person-independent Representations for Facial
Action Unit Detection [70.60587475492065]
自己教師型AU表現学習信号を2次元で定式化する。
ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。
提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
論文 参考訳（メタデータ） (2024-03-06T01:49:28Z) - DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。
既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。
本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
論文 参考訳（メタデータ） (2023-04-01T08:06:43Z) - Siamese DETR [87.45960774877798]
本稿では,DeTR における Transformer アーキテクチャの自己教師型事前学習手法である Siamese DETR を提案する。
我々は2つの相補的なタスクを通して、ビュー不変と検出指向の表現を同時に学習することを検討する。
提案したSiamese DETRはCOCOおよびPASCALVOC検出における最先端の転送性能を実現する。
論文 参考訳（メタデータ） (2023-03-31T15:29:25Z) - FAN-Trans: Online Knowledge Distillation for Facial Action Unit
Detection [45.688712067285536]
オンライン知識蒸留フレームワークを活用し,AU検出のための「FANTrans」手法を提案する。
我々のモデルは、AU毎の特徴を学習し、AU共起をモデル化するための、畳み込みと変圧器ブロックのハイブリッドネットワークで構成されている。
論文 参考訳（メタデータ） (2022-11-11T11:35:33Z) - Learning Multi-dimensional Edge Feature-based AU Relation Graph for
Facial Action Unit Recognition [27.34564955127377]
顔行動ユニット(AU)の活性化は相互に影響を及ぼす。
既存のアプローチでは、顔ディスプレイの各ペアのAUに対して、明確にかつ明示的にそのようなキューを表現できない。
本稿では,AU間の関係を明確に記述するために,一意のグラフを深く学習するAU関係モデリング手法を提案する。
論文 参考訳（メタデータ） (2022-05-02T03:38:00Z) - Weakly Supervised Regional and Temporal Learning for Facial Action Unit
Recognition [36.350407471391065]
限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。
顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。
半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-01T12:02:01Z) - Meta Auxiliary Learning for Facial Action Unit Detection [84.22521265124806]
マルチタスク方式でAU検出と表情認識を学習することを検討する。
マルチタスクシナリオにおける負の転送のため、AU検出タスクの性能を常に向上することはできない。
トレーニングFEサンプルの適応重みをメタラーニング方式で学習し,高相関なFEサンプルを自動的に選択するメタラーニング法(MAL)を提案する。
論文 参考訳（メタデータ） (2021-05-14T02:28:40Z) - Unsupervised Pretraining for Object Detection by Patch Reidentification [72.75287435882798]
教師なし表現学習は、オブジェクトディテクタの事前トレーニング表現で有望なパフォーマンスを実現します。
本研究では,オブジェクト検出のための簡易かつ効果的な表現学習手法であるパッチ再識別(Re-ID)を提案する。
私たちの方法は、トレーニングの反復やデータパーセンテージなど、すべての設定でCOCOの同等を大幅に上回ります。
論文 参考訳（メタデータ） (2021-03-08T15:13:59Z) - Deep Multi-task Multi-label CNN for Effective Facial Attribute
Classification [53.58763562421771]
DMM-CNN(ディープ・マルチタスク・マルチラベル・CNN)による効果的な顔属性分類(FAC)を提案する。
具体的には、DMM-CNNは、2つの密接に関連するタスク(顔のランドマーク検出とFAC)を共同で最適化し、マルチタスク学習を活用することにより、FACの性能を向上させる。
2つの異なるネットワークアーキテクチャは2つの属性のグループの特徴を抽出するために設計され、トレーニング中に各顔属性に損失重みを自動的に割り当てる新しい動的重み付け方式が提案されている。
論文 参考訳（メタデータ） (2020-02-10T12:34:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。