論文の概要: Facial Action Unit Detection Based on Multi-task Learning Strategy for
Unlabeled Facial Images in the Wild
- arxiv url: http://arxiv.org/abs/2310.05207v3
- Date: Thu, 25 Jan 2024 16:29:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 11:39:34.594861
- Title: Facial Action Unit Detection Based on Multi-task Learning Strategy for
Unlabeled Facial Images in the Wild
- Title(参考訳): 野生の未ラベル顔画像に対するマルチタスク学習戦略に基づく顔行動単位の検出
- Authors: Ziqiao Shang, Bin Liu
- Abstract要約: ファシカル・アクション・ユニット(AU)検出は、高精度な正確なラベル付けまたは不正確な擬似ラベル付け技術に依存している。
ほぼ全ての種類のAUsは、不均衡な正と負のサンプルを持つ。
顔のランドマーク検出とAUドメインの分離と再構築を併用することで、野生でのAU検出を促進するマルチタスク学習戦略を提案する。
- 参考スコア(独自算出の注目度): 3.498694457257263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial Action Unit (AU) detection often relies on highly-cost accurate
labeling or inaccurate pseudo labeling techniques in recent years. How to
introduce large amounts of unlabeled facial images in the wild into supervised
AU detection frameworks has become a challenging problem. Additionally, nearly
every type of AUs has the problem of unbalanced positive and negative samples.
Inspired by other multi-task learning frameworks, we first propose a multi-task
learning strategy boosting AU detection in the wild through jointing facial
landmark detection and AU domain separation and reconstruction. Our introduced
dual domains facial landmark detection framework can solve the lack of accurate
facial landmark coordinates during the AU domain separation and reconstruction
training process, while the parameters of homostructural facial extraction
modules from these two similar facial tasks are shared. Moreover, we propose a
pixel-level feature alignment scheme to maintain the consistency of features
obtained from two separation and reconstruction processes. Furthermore, a
weighted asymmetric loss is proposed to change the contribution of positive and
negative samples of each type of AUs to model parameters updating. Experimental
results on three widely used benchmarks demonstrate our superiority to most
state-of-the-art methods for AU detection.
- Abstract(参考訳): AU(Facial Action Unit)検出は、近年、高コストで正確なラベル付けや偽のラベル付け技術に依存していることが多い。
大量の未ラベルの顔画像を、教師付きAU検出フレームワークにどのように導入するかは、難しい問題となっている。
さらに、ほぼ全ての種類のAUsは、非平衡な正と負のサンプルを持つ。
他のマルチタスク学習フレームワークに触発されて、まず、顔ランドマーク検出とauドメイン分離と再構成を組み合わせることで、野生でのau検出を促進するマルチタスク学習戦略を提案する。
今回紹介したデュアルドメイン顔ランドマーク検出フレームワークは,auドメイン分離・再構成訓練過程における正確な顔ランドマーク座標の欠如を解消すると同時に,これら2つの類似した顔タスクから相同な顔抽出モジュールのパラメータを共有できる。
さらに,2つの分離・再構成プロセスから得られる特徴の整合性を維持するための画素レベルの特徴アライメント方式を提案する。
さらに,モデルパラメータ更新に対する各 aus の正および負のサンプルの寄与を変化させるために,重み付き非対称損失を提案する。
3つの広く使われているベンチマーク実験の結果、AU検出の最先端手法よりも優れていることが示された。
関連論文リスト
- Contrastive Learning of Person-independent Representations for Facial
Action Unit Detection [70.60587475492065]
自己教師型AU表現学習信号を2次元で定式化する。
ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。
提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
論文 参考訳(メタデータ) (2024-03-06T01:49:28Z) - Learning Contrastive Feature Representations for Facial Action Unit
Detection [7.365839694761861]
教師付き信号と自己教師型信号の両方によって強化されたコントラスト学習フレームワークを導入する。
目的は,従来の画素レベルの学習パラダイムから逸脱した識別的特徴の獲得である。
各AUタイプの不均衡分布を軽減するため、少数AUに適した重み付け戦略を採用する。
論文 参考訳(メタデータ) (2024-02-09T03:48:20Z) - Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。
そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
論文 参考訳(メタデータ) (2023-10-03T12:08:15Z) - Learning Common Rationale to Improve Self-Supervised Representation for
Fine-Grained Visual Recognition Problems [61.11799513362704]
我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。
SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
論文 参考訳(メタデータ) (2023-03-03T02:07:40Z) - Weakly Supervised Regional and Temporal Learning for Facial Action Unit
Recognition [36.350407471391065]
限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。
顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。
半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-01T12:02:01Z) - Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。
本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
論文 参考訳(メタデータ) (2021-12-27T05:44:40Z) - Weakly Supervised Semantic Segmentation via Alternative Self-Dual
Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。
本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文 参考訳(メタデータ) (2021-12-17T11:56:56Z) - View-Invariant Gait Recognition with Attentive Recurrent Learning of
Partial Representations [27.33579145744285]
本稿では,まず,フレームレベルの畳み込み特徴から歩行畳み込みエネルギーマップ(GCEM)を抽出するネットワークを提案する。
次に、GCEMの分割されたビンから学ぶために双方向ニューラルネットワークを採用し、学習された部分的リカレント表現の関係を利用する。
提案手法は2つの大規模CASIA-BとOU-Mの歩行データセットで広範囲に検証されている。
論文 参考訳(メタデータ) (2020-10-18T20:20:43Z) - Gait Recognition using Multi-Scale Partial Representation Transformation
with Capsules [22.99694601595627]
本稿では,カプセルを用いたマルチスケール部分歩行表現の伝達を学習する,新しいディープネットワークを提案する。
我々のネットワークは、まず最先端のディープ部分特徴抽出器を用いて、マルチスケールな部分表現を得る。
その後、前向きと後向きの部分的特徴間のパターンの相関関係と共起関係を繰り返し学習する。
論文 参考訳(メタデータ) (2020-10-18T19:47:38Z) - J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face
Alignment via Adaptive Attention [57.51255553918323]
本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。
我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
論文 参考訳(メタデータ) (2020-03-18T12:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。