論文の概要: Global-to-local Expression-aware Embeddings for Facial Action Unit Detection

• arxiv url: http://arxiv.org/abs/2210.15160v2
• Date: Fri, 28 Oct 2022 02:42:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 12:50:56.005120
• Title: Global-to-local Expression-aware Embeddings for Facial Action Unit Detection
• Title（参考訳）: 顔行動単位検出のためのグローバル・ローカルな表現認識埋め込み
• Authors: Rudong An, Wei Zhang, Hao Zeng, Wei Chen, Zhigang Deng, Yu Ding
• Abstract要約: 本稿では,微妙で連続的な顔の動きを捉えるための表現表現法を提案する。 AU特徴マップ抽出器と対応するAUマスク抽出器から構成される。 提案手法は,従来よりも優れており,広く使用されている顔データセット上での最先端の性能を実現している。
• 参考スコア（独自算出の注目度）: 18.629509376315752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expressions and facial action units (AUs) are two levels of facial behavior descriptors. Expression auxiliary information has been widely used to improve the AU detection performance. However, most existing expression representations can only describe pre-determined discrete categories (e.g., Angry, Disgust, Happy, Sad, etc.) and cannot capture subtle expression transformations like AUs. In this paper, we propose a novel fine-grained \textsl{Global Expression representation Encoder} to capture subtle and continuous facial movements, to promote AU detection. To obtain such a global expression representation, we propose to train an expression embedding model on a large-scale expression dataset according to global expression similarity. Moreover, considering the local definition of AUs, it is essential to extract local AU features. Therefore, we design a \textsl{Local AU Features Module} to generate local facial features for each AU. Specifically, it consists of an AU feature map extractor and a corresponding AU mask extractor. First, the two extractors transform the global expression representation into AU feature maps and masks, respectively. Then, AU feature maps and their corresponding AU masks are multiplied to generate AU masked features focusing on local facial region. Finally, the AU masked features are fed into an AU classifier for judging the AU occurrence. Extensive experiment results demonstrate the superiority of our proposed method. Our method validly outperforms previous works and achieves state-of-the-art performances on widely-used face datasets, including BP4D, DISFA, and BP4D+.
• Abstract（参考訳）: 表情と顔行動単位 (AUs) は2つのレベルの顔行動記述子である。 表現補助情報は、AU検出性能を改善するために広く利用されている。 しかし、既存の表現表現のほとんどは、事前決定された離散的なカテゴリ(例えば、怒り、嫌悪感、幸福、悲しみなど)のみを記述でき、ausのような微妙な表現変換をキャプチャできない。 本稿では, 微妙で連続的な顔の動きを捉え, AU検出を促進するための, 微粒な \textsl{Global Expression Expression Encoder} を提案する。 このようなグローバルな表現表現を得るために,グローバルな表現類似度に応じて,大規模な表現データセット上に表現埋め込みモデルをトレーニングすることを提案する。 さらに、AUの局所的な定義を考えると、局所的なAUの特徴を抽出することが不可欠である。 そこで我々は,各AUの局所的な特徴を生成するために, \textsl{Local AU Features Module} を設計する。 具体的には、AU特徴マップ抽出器と対応するAUマスク抽出器とから構成される。 まず、2つの抽出器がそれぞれグローバル表現表現をAU特徴写像とマスクに変換する。 次に、AU特徴マップとその対応するAUマスクを乗じて、局所的な顔領域に焦点を当てたAUマスク特徴を生成する。 最後に、AUマスクされた特徴をAU分類器に入力し、AU発生を判定する。 実験の結果,提案手法の優位性を実証した。 提案手法は, BP4D, DISFA, BP4D+など, 広く使われている顔データに対して, 従来よりも精度良く, 最先端の性能を実現する。

関連論文リスト

• Spatial Action Unit Cues for Interpretable Deep Facial Expression Recognition [55.97779732051921]
  表情認識(FER)のための最先端の分類器は、エンドユーザーにとって重要な特徴である解釈可能性に欠ける。 新しい学習戦略が提案され、AU cues を分類器訓練に明示的に組み込むことで、深い解釈可能なモデルを訓練することができる。 我々の新しい戦略は汎用的であり、アーキテクチャの変更や追加のトレーニング時間を必要とすることなく、ディープCNNやトランスフォーマーベースの分類器に適用できます。
  論文  参考訳（メタデータ） (2024-10-01T10:42:55Z)
• MaskInversion: Localized Embeddings via Optimization of Explainability Maps [49.50785637749757]
  MaskInversionは、テスト時にマスクによって指定されたクエリ画像領域に対するコンテキスト認識の埋め込みを生成する。 オープン語彙のクラス検索、表現理解の参照、局所的なキャプションや画像生成など、幅広いタスクに使用することができる。
  論文  参考訳（メタデータ） (2024-07-29T14:21:07Z)
• Guided Interpretable Facial Expression Recognition via Spatial Action Unit Cues [55.97779732051921]
  オーキューを分類器学習に明示的に組み込むための新しい学習戦略が提案されている。 分類性能を劣化させることなく階層的解釈性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-01T02:13:49Z)
• Facial Action Units Detection Aided by Global-Local Expression Embedding [36.78982474775454]
  我々はGlobal-Local Face Expressions Embedding(GLEE-Net)による新しいAU検出フレームワークを開発した。 我々のGLEE-Netは、AU検出のためのアイデンティティ非依存の表現特徴を抽出する3つのブランチから構成されている。 提案手法は, 広く使用されているdisFA, BP4D, BP4D+データセットの最先端性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-10-25T02:35:32Z)
• Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
  既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。 2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。 この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
  論文  参考訳（メタデータ） (2022-07-19T03:31:13Z)
• AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition [79.8779790682205]
  本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。 課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-12-29T03:42:04Z)
• AU-Guided Unsupervised Domain Adaptive Facial Expression Recognition [21.126514122636966]
  本稿では、異なるFERデータセット間のアノテーションバイアスを軽減するためのAUガイド付き非監視ドメイン適応FERフレームワークを提案する。 ドメイン不変のコンパクトな機能を実現するために、AUを用いた両ドメインのアンカー正負の三つ子をランダムに収集するAUガイドトリプルトトレーニングを利用します。
  論文  参考訳（メタデータ） (2020-12-18T07:17:30Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。