論文の概要: J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention

• arxiv url: http://arxiv.org/abs/2003.08834v3
• Date: Thu, 24 Sep 2020 03:08:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 12:58:46.136092
• Title: J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention
• Title（参考訳）: J$\hat{\text{A}}$A-Net: Adaptive Attentionによる共同顔行動単位の検出と顔アライメント
• Authors: Zhiwen Shao, Zhilei Liu, Jianfei Cai, Lizhuang Ma
• Abstract要約: 本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 57.51255553918323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial action unit (AU) detection and face alignment are two highly correlated tasks, since facial landmarks can provide precise AU locations to facilitate the extraction of meaningful local features for AU detection. However, most existing AU detection works handle the two tasks independently by treating face alignment as a preprocessing, and often use landmarks to predefine a fixed region or attention for each AU. In this paper, we propose a novel end-to-end deep learning framework for joint AU detection and face alignment, which has not been explored before. In particular, multi-scale shared feature is learned firstly, and high-level feature of face alignment is fed into AU detection. Moreover, to extract precise local features, we propose an adaptive attention learning module to refine the attention map of each AU adaptively. Finally, the assembled local features are integrated with face alignment feature and global feature for AU detection. Extensive experiments demonstrate that our framework (i) significantly outperforms the state-of-the-art AU detection methods on the challenging BP4D, DISFA, GFT and BP4D+ benchmarks, (ii) can adaptively capture the irregular region of each AU, (iii) achieves competitive performance for face alignment, and (iv) also works well under partial occlusions and non-frontal poses. The code for our method is available at https://github.com/ZhiwenShao/PyTorch-JAANet.
• Abstract（参考訳）: 顔のランドマークは、AU検出のための意味のある局所的特徴の抽出を容易にするために、正確なAU位置を提供することができるため、顔のアライメントと顔のアライメントは2つの非常に関連性の高いタスクである。 しかし、既存のAU検出作業の多くは、顔のアライメントを前処理として扱うことで2つのタスクを独立に処理し、しばしばランドマークを使用して各AUの固定領域や注意を事前に定義している。 本稿では,これまで検討されていない共同AU検出と顔アライメントのためのエンドツーエンドディープラーニングフレームワークを提案する。 特に、まずマルチスケールの共有特徴を学習し、顔アライメントの高レベル特徴をAU検出に投入する。 さらに,正確な局所特徴を抽出するために,各AUのアテンションマップを適応的に洗練する適応型アテンション学習モジュールを提案する。 最後に、組み立てられたローカル機能は、顔アライメント機能とAU検出のためのグローバル機能と統合される。 広範な実験によって 我々の枠組みが i) BP4D, DISFA, GFT, BP4D+ベンチマークにおいて, 最先端のAU検出法を著しく上回っている。 (ii)各auの不規則領域を適応的に捉えることができる。 (iii)顔合わせの競争性能を達成し、 (iv)部分閉塞や非前頭運動にも有効である。 このメソッドのコードはhttps://github.com/zhiwenshao/pytorch-jaanetで利用可能です。

関連論文リスト

• Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample [53.23474626420103]
  顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-02T05:51:24Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Self-supervised Facial Action Unit Detection with Region and Relation Learning [5.182661263082065]
  地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 改良された最適輸送(OT)アルゴリズムを導入し,AU間の相関特性を利用した。 Swin Transformerは、機能学習中に各AU領域内の長距離依存関係をモデル化するために利用される。
  論文  参考訳（メタデータ） (2023-03-10T05:22:45Z)
• Centralized Feature Pyramid for Object Detection [53.501796194901964]
  視覚的特徴ピラミッドは、広範囲のアプリケーションにおいて、有効性と効率の両方において、その優位性を示している。 本稿では,オブジェクト検出のためのOLO特徴ピラミッドを提案する。
  論文  参考訳（メタデータ） (2022-10-05T08:32:54Z)
• MGRR-Net: Multi-level Graph Relational Reasoning Network for Facial Action Units Detection [16.261362598190807]
  FACS(Facial Action Coding System)は、顔画像中のアクションユニット(AU)を符号化する。 我々は、AU特徴の符号化は、地域的特徴とグローバルな特徴の間のリッチな文脈情報を捉えないかもしれないと論じる。 顔AU検出のためのマルチレベルグラフ推論ネットワーク(MGRR-Net)を提案する。
  論文  参考訳（メタデータ） (2022-04-04T09:47:22Z)
• Adaptive Local-Global Relational Network for Facial Action Units Recognition and Facial Paralysis Estimation [22.85506776477092]
  本稿では, 顔認識のための新しい適応局所グラフネットワーク (ALGRNet) を提案し, 顔の麻痺推定に応用する。 ALGRNetは3つの新しい構造、すなわち、検出されたランドマークに基づいて適応的な筋肉領域を学習する適応的な領域学習モジュールで構成されている。 BP4データセットとdisFA AUデータセットの実験では、提案手法が最先端の手法よりも大きなマージンで優れていることが示されている。
  論文  参考訳（メタデータ） (2022-03-03T16:14:49Z)
• Point-Level Region Contrast for Object Detection Pre-Training [147.47349344401806]
  本稿では,物体検出作業のための自己教師付き事前学習手法である点レベル領域コントラストを提案する。 提案手法は,異なる領域から個々の点対を直接抽出することにより,コントラスト学習を行う。 領域ごとの集約表現と比較すると,入力領域の品質の変化に対して,我々のアプローチはより堅牢である。
  論文  参考訳（メタデータ） (2022-02-09T18:56:41Z)
• Meta Auxiliary Learning for Facial Action Unit Detection [84.22521265124806]
  マルチタスク方式でAU検出と表情認識を学習することを検討する。 マルチタスクシナリオにおける負の転送のため、AU検出タスクの性能を常に向上することはできない。 トレーニングFEサンプルの適応重みをメタラーニング方式で学習し,高相関なFEサンプルを自動的に選択するメタラーニング法(MAL)を提案する。
  論文  参考訳（メタデータ） (2021-05-14T02:28:40Z)
• HiCOMEX: Facial Action Unit Recognition Based on Hierarchy Intensity Distribution and COMEX Relation Learning [12.450173086494944]
  単一入力画像からのAU検出のための新しいフレームワークを提案する。 アルゴリズムは顔のランドマークを用いて局所的なAUの特徴を検出する。 BP4D と DISFA のベンチマーク実験では、それぞれ 63.7% と 61.8% の F1 スコアが得られた。
  論文  参考訳（メタデータ） (2020-09-23T01:49:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。