論文の概要: Self-supervised Facial Action Unit Detection with Region and Relation Learning

• arxiv url: http://arxiv.org/abs/2303.05708v1
• Date: Fri, 10 Mar 2023 05:22:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 16:09:33.015973
• Title: Self-supervised Facial Action Unit Detection with Region and Relation Learning
• Title（参考訳）: 地域と関係学習を用いた自己監督型顔行動単位検出
• Authors: Juan Song and Zhilei Liu
• Abstract要約: 地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 改良された最適輸送(OT)アルゴリズムを導入し,AU間の相関特性を利用した。 Swin Transformerは、機能学習中に各AU領域内の長距離依存関係をモデル化するために利用される。
• 参考スコア（独自算出の注目度）: 5.182661263082065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial action unit (AU) detection is a challenging task due to the scarcity of manual annotations. Recent works on AU detection with self-supervised learning have emerged to address this problem, aiming to learn meaningful AU representations from numerous unlabeled data. However, most existing AU detection works with self-supervised learning utilize global facial features only, while AU-related properties such as locality and relevance are not fully explored. In this paper, we propose a novel self-supervised framework for AU detection with the region and relation learning. In particular, AU related attention map is utilized to guide the model to focus more on AU-specific regions to enhance the integrity of AU local features. Meanwhile, an improved Optimal Transport (OT) algorithm is introduced to exploit the correlation characteristics among AUs. In addition, Swin Transformer is exploited to model the long-distance dependencies within each AU region during feature learning. The evaluation results on BP4D and DISFA demonstrate that our proposed method is comparable or even superior to the state-of-the-art self-supervised learning methods and supervised AU detection methods.
• Abstract（参考訳）: 顔アクションユニット(AU)検出は手動アノテーションが不足しているため難しい作業である。 自己教師付き学習によるAU検出に関する最近の研究は、多くの未ラベルデータから有意義なAU表現を学習することを目的として、この問題に取り組んでいる。 しかし、既存のAU検出機能の多くは、自己教師付き学習で、グローバルな顔の特徴のみを利用するが、局所性や関連性といったAU関連特性は十分に調べられていない。 本稿では,地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 特に、AU関連アテンションマップを用いて、AU固有の地域に焦点を当て、AUローカルな特徴の整合性を高める。 一方, aus間の相関特性を活用するために, 改良された最適輸送(ot)アルゴリズムが導入された。 さらに、Swin Transformerを使用して、機能学習中に各AU領域内の長距離依存関係をモデル化する。 BP4DとDisFAの評価結果から,提案手法は最先端の自己教師付き学習法や教師付きAU検出法と同等かそれ以上に優れていることが示された。

関連論文リスト

• Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample [53.23474626420103]
  顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-02T05:51:24Z)
• Towards End-to-End Explainable Facial Action Unit Recognition via Vision-Language Joint Learning [48.70249675019288]
  本稿では,AU認識のためのエンドツーエンドのビジョン・ランゲージ共同学習ネットワークを提案する。 提案手法は,ほとんどのメトリクスにおける最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-08-01T15:35:44Z)
• Contrastive Learning of Person-independent Representations for Facial Action Unit Detection [70.60587475492065]
  自己教師型AU表現学習信号を2次元で定式化する。 ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。 提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
  論文  参考訳（メタデータ） (2024-03-06T01:49:28Z)
• Local Region Perception and Relationship Learning Combined with Feature Fusion for Facial Action Unit Detection [12.677143408225167]
  ABAW(Affective Behavior Analysis in the-wild)に関するCVPR 2023コンペティションについて紹介する。 具体的には、AU検出に関連する顔の局所的特徴を効果的に抽出するために、局所的知覚モジュールを用いる。 また、グラフニューラルネットワークに基づくリレーショナル学習モジュールを使用して、AU間の関係をキャプチャする。
  論文  参考訳（メタデータ） (2023-03-15T11:59:24Z)
• Attention Based Relation Network for Facial Action Units Recognition [8.522262699196412]
  本稿では,AU認識のための新しいアテンションベース関係ネットワーク(ABRNet)を提案する。 ABRNetは複数の関係学習レイヤを使用して、異なるAU関係を自動的にキャプチャする。 提案手法は,disFAとdisFA+データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-10-23T11:26:53Z)
• Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition [36.350407471391065]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-01T12:02:01Z)
• Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action Unit Recognition [29.664359264758495]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 AU関係埋め込みによる地域特徴の識別を強化するため、ランダムに収穫されたAUパッチを復元するRoI塗装タスクを設計する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。
  論文  参考訳（メタデータ） (2021-07-30T02:39:45Z)
• Meta Auxiliary Learning for Facial Action Unit Detection [84.22521265124806]
  マルチタスク方式でAU検出と表情認識を学習することを検討する。 マルチタスクシナリオにおける負の転送のため、AU検出タスクの性能を常に向上することはできない。 トレーニングFEサンプルの適応重みをメタラーニング方式で学習し,高相関なFEサンプルを自動的に選択するメタラーニング法(MAL)を提案する。
  論文  参考訳（メタデータ） (2021-05-14T02:28:40Z)
• AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition [79.8779790682205]
  本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。 課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-12-29T03:42:04Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。