論文の概要: Contrastive Learning of Person-independent Representations for Facial Action Unit Detection

• arxiv url: http://arxiv.org/abs/2403.03400v1
• Date: Wed, 6 Mar 2024 01:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 16:38:01.023708
• Title: Contrastive Learning of Person-independent Representations for Facial Action Unit Detection
• Title（参考訳）: 顔行動単位検出のための人非依存表現のコントラスト学習
• Authors: Yong Li, Shiguang Shan
• Abstract要約: 自己教師型AU表現学習信号を2次元で定式化する。 ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。 提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
• 参考スコア（独自算出の注目度）: 70.60587475492065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial action unit (AU) detection, aiming to classify AU present in the facial image, has long suffered from insufficient AU annotations. In this paper, we aim to mitigate this data scarcity issue by learning AU representations from a large number of unlabelled facial videos in a contrastive learning paradigm. We formulate the self-supervised AU representation learning signals in two-fold: (1) AU representation should be frame-wisely discriminative within a short video clip; (2) Facial frames sampled from different identities but show analogous facial AUs should have consistent AU representations. As to achieve these goals, we propose to contrastively learn the AU representation within a video clip and devise a cross-identity reconstruction mechanism to learn the person-independent representations. Specially, we adopt a margin-based temporal contrastive learning paradigm to perceive the temporal AU coherence and evolution characteristics within a clip that consists of consecutive input facial frames. Moreover, the cross-identity reconstruction mechanism facilitates pushing the faces from different identities but show analogous AUs close in the latent embedding space. Experimental results on three public AU datasets demonstrate that the learned AU representation is discriminative for AU detection. Our method outperforms other contrastive learning methods and significantly closes the performance gap between the self-supervised and supervised AU detection approaches.
• Abstract（参考訳）: 顔画像中のAUの分類を目的とした顔行動単位(AU)検出は、長い間、貧弱なAUアノテーションに悩まされてきた。 本稿では,多数の顔画像からAU表現を学習することで,このデータ不足の問題を,対照的な学習パラダイムで緩和することを目的とする。 自己教師付きau表現学習信号を2次元に定式化する:(1)au表現は短いビデオクリップ内でフレーム的に判別されるべき;(2)異なるアイデンティティからサンプリングされた顔フレームは、類似したau表現を持つべきである。 これらの目的を達成するために,ビデオクリップ内でau表現を対比的に学習し,個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。 特に,連続入力された顔フレームからなるクリップ内の時間的auコヒーレンスと進化特性を知覚するために,マージンに基づく時間的コントラスト学習パラダイムを採用する。 さらに、相互同一性再構成機構は、異なる同一性から顔を押し出すのが容易であるが、潜在埋め込み空間に類似したausが現れる。 3つの公開AUデータセットの実験結果は、学習されたAU表現がAU検出に識別可能であることを示す。 提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition [80.07590100872548]
  本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。 CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
  論文  参考訳（メタデータ） (2022-08-10T15:46:05Z)
• Cross-subject Action Unit Detection with Meta Learning and Transformer-based Relation Modeling [7.395396464857193]
  メタラーニングに基づくクロスオブジェクトAU検出モデルを提案する。 複数のAUの潜伏関係を学習するために、トランスフォーマーに基づく関係学習モジュールを導入する。 提案手法は,2つの公開データセットBP4DとdisFAにおいて,最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-18T08:17:59Z)
• Learning Multi-dimensional Edge Feature-based AU Relation Graph for Facial Action Unit Recognition [27.34564955127377]
  顔行動ユニット(AU)の活性化は相互に影響を及ぼす。 既存のアプローチでは、顔ディスプレイの各ペアのAUに対して、明確にかつ明示的にそのようなキューを表現できない。 本稿では,AU間の関係を明確に記述するために,一意のグラフを深く学習するAU関係モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-05-02T03:38:00Z)
• Evaluation of Self-taught Learning-based Representations for Facial Emotion Recognition [62.30451764345482]
  この研究は、顔の感情認識のための自己学習の概念を通じて得られた教師なし表現を生成するための様々な戦略を記述する。 このアイデアは、オートエンコーダの初期化、アーキテクチャ、トレーニングデータを変化させることで、多様性を促進する補完的な表現を作ることである。 Jaffe と Cohn-Kanade のデータセットに対する残余のサブジェクトアウトプロトコルによる実験結果から,提案した多種多様な表現に基づく FER 手法が最先端のアプローチと好適に比較できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-26T22:48:15Z)
• Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition [36.350407471391065]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-01T12:02:01Z)
• Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition [38.589141957375226]
  一部AU標識顔画像からの顔動作単位認識のための深層半教師付きフレームワークを提案する。 提案手法は、逆学習によりAU分布を捕捉し、最先端のAU認識作業より優れる。
  論文  参考訳（メタデータ） (2021-06-04T04:50:00Z)
• AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition [79.8779790682205]
  本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。 課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-12-29T03:42:04Z)
• Fully Unsupervised Person Re-identification viaSelective Contrastive Learning [58.5284246878277]
  人物再識別(ReID)は、様々なカメラが捉えた画像の中から同一人物を検索することを目的としている。 教師なし特徴学習のための新しい選択型コントラスト学習フレームワークを提案する。 その結果,教師なしのReIDにおける手法の優位性について,最先端技術と比較した。
  論文  参考訳（メタデータ） (2020-10-15T09:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。