論文の概要: Facial Action Unit Detection via Adaptive Attention and Relation

• arxiv url: http://arxiv.org/abs/2001.01168v2
• Date: Wed, 17 May 2023 03:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 21:42:26.957742
• Title: Facial Action Unit Detection via Adaptive Attention and Relation
• Title（参考訳）: 適応的注意と関係による顔行動単位の検出
• Authors: Zhiwen Shao, Yong Zhou, Jianfei Cai, Hancheng Zhu, Rui Yao
• Abstract要約: 本稿では,顔AU検出のための新しいアダプティブ・アダプティブ・アテンション・アンド・リレーション(AAR)フレームワークを提案する。 具体的には,アダプティブ・アダプティブ・アダプティブ・アダスト・レグレッション・ネットワークを提案し,アダプティブ・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダストディションの制約の下で各AUのグローバル・アダスト・マップを回帰する。 AUの多様性と動的性を考慮して,各AUの独立パターン,AU間の相互依存性,および時間依存性を同時に推論する適応時間グラフネットワークを提案する。
• 参考スコア（独自算出の注目度）: 40.34933431651346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial action unit (AU) detection is challenging due to the difficulty in capturing correlated information from subtle and dynamic AUs. Existing methods often resort to the localization of correlated regions of AUs, in which predefining local AU attentions by correlated facial landmarks often discards essential parts, or learning global attention maps often contains irrelevant areas. Furthermore, existing relational reasoning methods often employ common patterns for all AUs while ignoring the specific way of each AU. To tackle these limitations, we propose a novel adaptive attention and relation (AAR) framework for facial AU detection. Specifically, we propose an adaptive attention regression network to regress the global attention map of each AU under the constraint of attention predefinition and the guidance of AU detection, which is beneficial for capturing both specified dependencies by landmarks in strongly correlated regions and facial globally distributed dependencies in weakly correlated regions. Moreover, considering the diversity and dynamics of AUs, we propose an adaptive spatio-temporal graph convolutional network to simultaneously reason the independent pattern of each AU, the inter-dependencies among AUs, as well as the temporal dependencies. Extensive experiments show that our approach (i) achieves competitive performance on challenging benchmarks including BP4D, DISFA, and GFT in constrained scenarios and Aff-Wild2 in unconstrained scenarios, and (ii) can precisely learn the regional correlation distribution of each AU.
• Abstract（参考訳）: 顔アクションユニット(AU)検出は、微妙でダイナミックなAUから相関情報を取得するのが難しいため困難である。 既存の方法は、しばしばAUの関連領域の局所化を頼りにしており、相関する顔のランドマークによって局所的なAUの注意を事前に定義することは、しばしば必須の部分を破棄する。 さらに、既存の関係推論手法では、各AUの特定の方法を無視しながら、すべてのAUに対して共通のパターンを用いることが多い。 これらの制約に対処するために,顔AU検出のための適応的注意・関係(AAR)フレームワークを提案する。 具体的には,注意前定義の制約の下で各auのグローバルアテンションマップをレグレッションする適応アテンション回帰ネットワークと,強い相関領域のランドマークと弱相関領域における顔のグローバル分散依存性の両方を捉える上で有用なau検出のガイダンスを提案する。 さらに,AUの多様性と動態を考慮した適応時空間グラフ畳み込みネットワークを提案し,各AUの独立パターン,AU間の依存性,および時間依存性を同時に推論する。 大規模な実験は我々のアプローチが示す (i)制約のあるシナリオではbp4d、disfa、gft、制約のないシナリオではaf-wild2といった挑戦的なベンチマークで競合性能を達成し、 (ii) 各AUの地域相関分布を正確に学習することができる。

関連論文リスト

• Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample [53.23474626420103]
  顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-02T05:51:24Z)
• Self-supervised Facial Action Unit Detection with Region and Relation Learning [5.182661263082065]
  地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 改良された最適輸送(OT)アルゴリズムを導入し,AU間の相関特性を利用した。 Swin Transformerは、機能学習中に各AU領域内の長距離依存関係をモデル化するために利用される。
  論文  参考訳（メタデータ） (2023-03-10T05:22:45Z)
• PS-ARM: An End-to-End Attention-aware Relation Mixer Network for Person Search [56.02761592710612]
  モジュール・パーソン・サーチのための新しいアテンション・アウェア・リレーション・ミキサー(ARM)を提案する。 私たちのARMモジュールはネイティブで、きめ細かい監督やトポロジカルな仮定に依存していません。 我々のPS-ARMは、両方のデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-07T10:04:12Z)
• Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection [81.07378219410182]
  我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。 FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。 実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-06T05:12:48Z)
• Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition [36.350407471391065]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-01T12:02:01Z)
• Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action Unit Recognition [29.664359264758495]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 AU関係埋め込みによる地域特徴の識別を強化するため、ランダムに収穫されたAUパッチを復元するRoI塗装タスクを設計する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。
  論文  参考訳（メタデータ） (2021-07-30T02:39:45Z)
• Local Relation Learning for Face Forgery Detection [73.73130683091154]
  局所的関係学習による顔の偽造検出の新たな視点を提案する。 具体的には,局所的な特徴間の類似度を測定するMPSM(Multi-scale Patch similarity Module)を提案する。 また、より包括的な局所特徴表現のために、RGBおよび周波数領域の情報を融合するRGB-Frequency Attention Module (RFAM)を提案する。
  論文  参考訳（メタデータ） (2021-05-06T10:44:32Z)
• Multi-Level Adaptive Region of Interest and Graph Learning for Facial Action Unit Recognition [30.129452080084224]
  本稿では,この問題に対処するための多段階適応ROIとグラフ学習(MARGL)フレームワークを提案する。 レベル内AU関係とレベル間AU地域関連を同時に組み込むために、マルチレベルAU関係グラフを構築する。 BP4D と DISFA の実験では,提案した MARGL が従来の最先端手法よりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2021-02-24T09:22:45Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。