論文の概要: Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample

• arxiv url: http://arxiv.org/abs/2410.01251v1
• Date: Wed, 2 Oct 2024 05:51:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 22:18:46.956143
• Title: Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample
• Title（参考訳）: 自己注意と因果分解サンプルの適応的拘束による顔行動単位の検出
• Authors: Zhiwen Shao, Hancheng Zhu, Yong Zhou, Xiang Xiang, Bing Liu, Rui Yao, Lizhuang Ma,
• Abstract要約: 顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
• 参考スコア（独自算出の注目度）: 53.23474626420103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial action unit (AU) detection remains a challenging task, due to the subtlety, dynamics, and diversity of AUs. Recently, the prevailing techniques of self-attention and causal inference have been introduced to AU detection. However, most existing methods directly learn self-attention guided by AU detection, or employ common patterns for all AUs during causal intervention. The former often captures irrelevant information in a global range, and the latter ignores the specific causal characteristic of each AU. In this paper, we propose a novel AU detection framework called AC2D by adaptively constraining self-attention weight distribution and causally deconfounding the sample confounder. Specifically, we explore the mechanism of self-attention weight distribution, in which the self-attention weight distribution of each AU is regarded as spatial distribution and is adaptively learned under the constraint of location-predefined attention and the guidance of AU detection. Moreover, we propose a causal intervention module for each AU, in which the bias caused by training samples and the interference from irrelevant AUs are both suppressed. Extensive experiments show that our method achieves competitive performance compared to state-of-the-art AU detection approaches on challenging benchmarks, including BP4D, DISFA, GFT, and BP4D+ in constrained scenarios and Aff-Wild2 in unconstrained scenarios. The code is available at https://github.com/ZhiwenShao/AC2D.
• Abstract（参考訳）: 顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 近年,AU検出には自己注意法や因果推論法が広く採用されている。 しかしながら、既存のほとんどの方法は、AU検出によって導かれる自己注意を直接学習するか、因果的介入中にすべてのAUに対して共通のパターンを採用する。 前者はグローバル範囲で無関係な情報をキャプチャすることが多く、後者は各AUの特定の因果特性を無視している。 本稿では,自己注意重み分布を適応的に制限し,共同創設者を因果的に分解し,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 具体的には,各AUの自己注意重み分布を空間分布と見なす自己注意重み分布のメカニズムについて検討し,位置予め定義された注意の制約とAU検出の指針の下で適応的に学習する。 さらに,各AUに対する因果介入モジュールを提案し,トレーニングサンプルによるバイアスと無関係なAUからの干渉を両立させる。 本手法は,制約シナリオにおけるBP4D, DISFA, GFT, BP4D+, 制約のないシナリオにおけるAff-Wild2など,挑戦的ベンチマークにおける最先端のAU検出手法と比較して,競争性能が向上することを示す。 コードはhttps://github.com/ZhiwenShao/AC2Dで公開されている。

関連論文リスト

• GeneralAD: Anomaly Detection Across Domains by Attending to Distorted Features [68.14842693208465]
  GeneralADは、意味的、ほぼ分布的、産業的設定で動作するように設計された異常検出フレームワークである。 本稿では,ノイズ付加やシャッフルなどの簡単な操作を施した自己教師付き異常生成モジュールを提案する。 提案手法を10のデータセットに対して広範囲に評価し,6つの実験結果と,残りの6つの実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-17T09:27:41Z)
• Learning Contrastive Feature Representations for Facial Action Unit Detection [13.834540490373818]
  顔アクションユニット(AU)検出は、AUが活性化する際の微妙な特徴差を検出するという課題に長年遭遇してきた。 本稿では、自己教師付き信号と教師付き信号の両方を組み込んだAU検出を目的とした、新しいコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:48:20Z)
• Self-supervised Facial Action Unit Detection with Region and Relation Learning [5.182661263082065]
  地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 改良された最適輸送(OT)アルゴリズムを導入し,AU間の相関特性を利用した。 Swin Transformerは、機能学習中に各AU領域内の長距離依存関係をモデル化するために利用される。
  論文  参考訳（メタデータ） (2023-03-10T05:22:45Z)
• Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
  本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。 表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
  論文  参考訳（メタデータ） (2022-08-31T08:18:44Z)
• Anomaly Detection via Self-organizing Map [52.542991004752]
  製品品質管理のための工業生産において,異常検出が重要な役割を担っている。 従来の異常検出方法は、限定的な一般化能力を持つルールベースである。 教師付きディープラーニングに基づく最近の手法は、より強力だが、訓練には大規模な注釈付きデータセットが必要である。
  論文  参考訳（メタデータ） (2021-07-21T06:56:57Z)
• Meta Auxiliary Learning for Facial Action Unit Detection [84.22521265124806]
  マルチタスク方式でAU検出と表情認識を学習することを検討する。 マルチタスクシナリオにおける負の転送のため、AU検出タスクの性能を常に向上することはできない。 トレーニングFEサンプルの適応重みをメタラーニング方式で学習し,高相関なFEサンプルを自動的に選択するメタラーニング法(MAL)を提案する。
  論文  参考訳（メタデータ） (2021-05-14T02:28:40Z)
• AU-Guided Unsupervised Domain Adaptive Facial Expression Recognition [21.126514122636966]
  本稿では、異なるFERデータセット間のアノテーションバイアスを軽減するためのAUガイド付き非監視ドメイン適応FERフレームワークを提案する。 ドメイン不変のコンパクトな機能を実現するために、AUを用いた両ドメインのアンカー正負の三つ子をランダムに収集するAUガイドトリプルトトレーニングを利用します。
  論文  参考訳（メタデータ） (2020-12-18T07:17:30Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)
• Facial Action Unit Detection via Adaptive Attention and Relation [40.34933431651346]
  本稿では,顔AU検出のための新しいアダプティブ・アダプティブ・アテンション・アンド・リレーション(AAR)フレームワークを提案する。 具体的には,アダプティブ・アダプティブ・アダプティブ・アダスト・レグレッション・ネットワークを提案し,アダプティブ・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダストディションの制約の下で各AUのグローバル・アダスト・マップを回帰する。 AUの多様性と動的性を考慮して,各AUの独立パターン,AU間の相互依存性,および時間依存性を同時に推論する適応時間グラフネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-05T05:14:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。