論文の概要: Adaptive Local-Global Relational Network for Facial Action Units Recognition and Facial Paralysis Estimation

• arxiv url: http://arxiv.org/abs/2203.01800v1
• Date: Thu, 3 Mar 2022 16:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 16:08:36.766978
• Title: Adaptive Local-Global Relational Network for Facial Action Units Recognition and Facial Paralysis Estimation
• Title（参考訳）: 顔行動単位認識と顔面麻痺推定のための適応型局所的グローバルリレーショナルネットワーク
• Authors: Xuri Ge, Joemon M. Jose, Pengcheng Wang, Arunachalam Iyer, Xiao Liu, and Hu Han
• Abstract要約: 本稿では, 顔認識のための新しい適応局所グラフネットワーク (ALGRNet) を提案し, 顔の麻痺推定に応用する。 ALGRNetは3つの新しい構造、すなわち、検出されたランドマークに基づいて適応的な筋肉領域を学習する適応的な領域学習モジュールで構成されている。 BP4データセットとdisFA AUデータセットの実験では、提案手法が最先端の手法よりも大きなマージンで優れていることが示されている。
• 参考スコア（独自算出の注目度）: 22.85506776477092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial action units (AUs) refer to a unique set of facial muscle movements at certain facial locations defined by the Facial Action Coding System (FACS), which can be used for describing nearly any anatomically possible facial expression. Many existing facial action units (AUs) recognition approaches often enhance the AU representation by combining local features from multiple independent branches, each corresponding to a different AU, which usually neglect potential mutual assistance and exclusion relationship between AU branches or simply employ a pre-defined and fixed knowledge-graph as a prior. In addition, extracting features from pre-defined AU regions of regular shapes limits the representation ability. In this paper, we propose a novel Adaptive Local-Global Relational Network (ALGRNet) for facial AU recognition and apply it to facial paralysis estimation. ALGRNet mainly consists of three novel structures, i.e., an adaptive region learning module which learns the adaptive muscle regions based on the detected landmarks, a skip-BiLSTM module which models the latent mutual assistance and exclusion relationship among local AU features, and a feature fusion\&refining module which explores the complementarity between local AUs and the whole face for the local AU refinement. In order to evaluate our proposed method, we migrated ALGRNet to a facial paralysis dataset which is collected and annotated by medical professionals. Experiments on the BP4D and DISFA AU datasets show that the proposed approach outperforms the state-of-the-art methods by a large margin. Additionally, we also demonstrated the effectiveness of the proposed ALGRNet in applications to facial paralysis estimation.
• Abstract（参考訳）: face action unit (aus) は、face action coding system (facs) によって定義された特定の顔部位における顔面筋の動きのユニークなセットであり、ほぼあらゆる解剖学的に可能な表情を記述するのに使用できる。 多くの既存の顔動作単位(aus)認識アプローチは、異なるauに対応する複数の独立したブランチからの局所的な特徴を結合することにより、au表現を強化することが多い。 さらに、正規形状の事前定義されたAU領域からの特徴抽出は、表現能力を制限する。 本稿では,顔のAU認識のための適応的局所的関係ネットワーク(ALGRNet)を提案し,顔の麻痺推定に応用する。 ALGRNetは主に3つの新しい構造、すなわち、検出されたランドマークに基づいて適応的な筋肉領域を学習する適応的な領域学習モジュール、局所的なAU特徴間の潜在的な相互援助と排除関係をモデル化するスキップ-BiLSTMモジュール、および局所的なAUと局所的なAU改善のための顔全体の相補性を探索する特徴融合&精製モジュールからなる。 提案手法を評価するために,algrnetを医療従事者によって収集・注釈付された顔面麻痺データセットに移行した。 BP4DとdisFA AUデータセットの実験により、提案手法は最先端の手法よりも大きなマージンで優れていることが示された。 また,顔の麻痺推定への応用として,提案するALGRNetの有効性を実証した。

関連論文リスト

• Towards End-to-End Explainable Facial Action Unit Recognition via Vision-Language Joint Learning [48.70249675019288]
  本稿では,AU認識のためのエンドツーエンドのビジョン・ランゲージ共同学習ネットワークを提案する。 提案手法は,ほとんどのメトリクスにおける最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-08-01T15:35:44Z)
• Contrastive Learning of Person-independent Representations for Facial Action Unit Detection [70.60587475492065]
  自己教師型AU表現学習信号を2次元で定式化する。 ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。 提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
  論文  参考訳（メタデータ） (2024-03-06T01:49:28Z)
• Local Region Perception and Relationship Learning Combined with Feature Fusion for Facial Action Unit Detection [12.677143408225167]
  ABAW(Affective Behavior Analysis in the-wild)に関するCVPR 2023コンペティションについて紹介する。 具体的には、AU検出に関連する顔の局所的特徴を効果的に抽出するために、局所的知覚モジュールを用いる。 また、グラフニューラルネットワークに基づくリレーショナル学習モジュールを使用して、AU間の関係をキャプチャする。
  論文  参考訳（メタデータ） (2023-03-15T11:59:24Z)
• MGRR-Net: Multi-level Graph Relational Reasoning Network for Facial Action Units Detection [16.261362598190807]
  FACS(Facial Action Coding System)は、顔画像中のアクションユニット(AU)を符号化する。 我々は、AU特徴の符号化は、地域的特徴とグローバルな特徴の間のリッチな文脈情報を捉えないかもしれないと論じる。 顔AU検出のためのマルチレベルグラフ推論ネットワーク(MGRR-Net)を提案する。
  論文  参考訳（メタデータ） (2022-04-04T09:47:22Z)
• Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition [36.350407471391065]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-01T12:02:01Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action Unit Recognition [29.664359264758495]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 AU関係埋め込みによる地域特徴の識別を強化するため、ランダムに収穫されたAUパッチを復元するRoI塗装タスクを設計する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。
  論文  参考訳（メタデータ） (2021-07-30T02:39:45Z)
• AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition [79.8779790682205]
  本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。 課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-12-29T03:42:04Z)
• Adversarial Graph Representation Adaptation for Cross-Domain Facial Expression Recognition [86.25926461936412]
  本稿では,グラフ表現の伝播と逆学習を両立させる新しいAdrialversa Graph Representation Adaptation (AGRA) フレームワークを提案する。 提案するAGRAフレームワークは,従来の最先端手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-08-03T13:27:24Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。