論文の概要: Facial Action Units Detection Aided by Global-Local Expression Embedding

• arxiv url: http://arxiv.org/abs/2210.13718v1
• Date: Tue, 25 Oct 2022 02:35:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 13:19:45.252741
• Title: Facial Action Units Detection Aided by Global-Local Expression Embedding
• Title（参考訳）: 局所的表情埋め込みによる顔行動単位の検出
• Authors: Zhipeng Hu, Wei Zhang, Lincheng Li, Yu Ding, Wei Chen, Zhigang Deng, Xin Yu
• Abstract要約: 我々はGlobal-Local Face Expressions Embedding(GLEE-Net)による新しいAU検出フレームワークを開発した。 我々のGLEE-Netは、AU検出のためのアイデンティティ非依存の表現特徴を抽出する3つのブランチから構成されている。 提案手法は, 広く使用されているdisFA, BP4D, BP4D+データセットの最先端性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 36.78982474775454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since Facial Action Unit (AU) annotations require domain expertise, common AU datasets only contain a limited number of subjects. As a result, a crucial challenge for AU detection is addressing identity overfitting. We find that AUs and facial expressions are highly associated, and existing facial expression datasets often contain a large number of identities. In this paper, we aim to utilize the expression datasets without AU labels to facilitate AU detection. Specifically, we develop a novel AU detection framework aided by the Global-Local facial Expressions Embedding, dubbed GLEE-Net. Our GLEE-Net consists of three branches to extract identity-independent expression features for AU detection. We introduce a global branch for modeling the overall facial expression while eliminating the impacts of identities. We also design a local branch focusing on specific local face regions. The combined output of global and local branches is firstly pre-trained on an expression dataset as an identity-independent expression embedding, and then finetuned on AU datasets. Therefore, we significantly alleviate the issue of limited identities. Furthermore, we introduce a 3D global branch that extracts expression coefficients through 3D face reconstruction to consolidate 2D AU descriptions. Finally, a Transformer-based multi-label classifier is employed to fuse all the representations for AU detection. Extensive experiments demonstrate that our method significantly outperforms the state-of-the-art on the widely-used DISFA, BP4D and BP4D+ datasets.
• Abstract（参考訳）: Facial Action Unit (AU)アノテーションはドメインの専門知識を必要とするため、一般的なAUデータセットは限られた数の主題しか含まない。 その結果、AU検出における重要な課題は、アイデンティティ過度に対処することである。 AUと表情は高度に関連付けられており、既存の表情データセットには多数のアイデンティティが含まれていることが多い。 本稿では,AUラベルを使わずに表現データセットを活用し,AU検出を容易にすることを目的とする。 具体的には,Global-Local Face Expressions Embedding(GLEE-Net)による新しいAU検出フレームワークを開発した。 我々のGLEE-Netは、AU検出のためのアイデンティティ非依存の表現特徴を抽出する3つのブランチから構成されている。 顔の表情全体をモデル化するグローバルブランチを導入し,アイデンティティの影響を排除した。 また,特定の局所面領域に着目した局所ブランチも設計する。 グローバルブランチとローカルブランチの組み合わせ出力は、まず、IDに依存しない式埋め込みとして式データセット上で事前トレーニングされ、次にAUデータセットに微調整される。 したがって、限定的なアイデンティティの問題を著しく緩和する。 さらに、3次元顔再構成により表現係数を抽出し、2次元AU記述を統合する3次元グローバルブランチを提案する。 最後に、au検出のために全ての表現を融合するためにトランスフォーマティブベースのマルチラベル分類器を用いる。 大規模な実験により,この手法は広く使用されているdisFA, BP4D, BP4D+データセットにおいて, 最先端の手法よりも優れていることが示された。

関連論文リスト

• ID$^3$: Identity-Preserving-yet-Diversified Diffusion Models for Synthetic Face Recognition [60.15830516741776]
  合成顔認識(SFR)は、実際の顔データの分布を模倣するデータセットを生成することを目的としている。 拡散燃料SFRモデルであるtextID3$を紹介します。 textID3$はID保存損失を利用して、多様だがアイデンティティに一貫性のある顔の外観を生成する。
  論文  参考訳（メタデータ） (2024-09-26T06:46:40Z)
• Other Tokens Matter: Exploring Global and Local Features of Vision Transformers for Object Re-Identification [63.147482497821166]
  我々はまず,ViTのグローバルおよびローカルな特徴の影響を探求し,高性能オブジェクトRe-IDのための新しいグローバルローカ変換器(GLTrans)を提案する。 提案手法は,4つのオブジェクトRe-IDベンチマークにおいて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-04-23T12:42:07Z)
• Multi-Stage Spatio-Temporal Aggregation Transformer for Video Person Re-identification [78.08536797239893]
  本稿では,2つの新しいプロキシ埋め込みモジュールを設計したMSTAT(Multi-Stage Space-Temporal Aggregation Transformer)を提案する。 MSTATは、属性関連、アイデンティティ関連、および属性関連情報をビデオクリップからエンコードする3つのステージから構成される。 MSTATは様々な標準ベンチマークで最先端の精度を達成できることを示す。
  論文  参考訳（メタデータ） (2023-01-02T05:17:31Z)
• Global-to-local Expression-aware Embeddings for Facial Action Unit Detection [18.629509376315752]
  本稿では,微妙で連続的な顔の動きを捉えるための表現表現法を提案する。 AU特徴マップ抽出器と対応するAUマスク抽出器から構成される。 提案手法は,従来よりも優れており,広く使用されている顔データセット上での最先端の性能を実現している。
  論文  参考訳（メタデータ） (2022-10-27T04:00:04Z)
• Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
  既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。 2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。 この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
  論文  参考訳（メタデータ） (2022-07-19T03:31:13Z)
• Cross-subject Action Unit Detection with Meta Learning and Transformer-based Relation Modeling [7.395396464857193]
  メタラーニングに基づくクロスオブジェクトAU検出モデルを提案する。 複数のAUの潜伏関係を学習するために、トランスフォーマーに基づく関係学習モジュールを導入する。 提案手法は,2つの公開データセットBP4DとdisFAにおいて,最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-18T08:17:59Z)
• Adaptive Local-Global Relational Network for Facial Action Units Recognition and Facial Paralysis Estimation [22.85506776477092]
  本稿では, 顔認識のための新しい適応局所グラフネットワーク (ALGRNet) を提案し, 顔の麻痺推定に応用する。 ALGRNetは3つの新しい構造、すなわち、検出されたランドマークに基づいて適応的な筋肉領域を学習する適応的な領域学習モジュールで構成されている。 BP4データセットとdisFA AUデータセットの実験では、提案手法が最先端の手法よりも大きなマージンで優れていることが示されている。
  論文  参考訳（メタデータ） (2022-03-03T16:14:49Z)
• AU-Guided Unsupervised Domain Adaptive Facial Expression Recognition [21.126514122636966]
  本稿では、異なるFERデータセット間のアノテーションバイアスを軽減するためのAUガイド付き非監視ドメイン適応FERフレームワークを提案する。 ドメイン不変のコンパクトな機能を実現するために、AUを用いた両ドメインのアンカー正負の三つ子をランダムに収集するAUガイドトリプルトトレーニングを利用します。
  論文  参考訳（メタデータ） (2020-12-18T07:17:30Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。