論文の概要: Facial Action Unit Detection and Intensity Estimation from Self-supervised Representation

• arxiv url: http://arxiv.org/abs/2210.15878v1
• Date: Fri, 28 Oct 2022 03:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 15:12:36.673115
• Title: Facial Action Unit Detection and Intensity Estimation from Self-supervised Representation
• Title（参考訳）: 自己教師付き表現による顔行動単位の検出と強度推定
• Authors: Bowen Ma, Rudong An, Wei Zhang, Yu Ding, Zeng Zhao, Rongsheng Zhang, Tangjie Lv, Changjie Fan, Zhipeng Hu
• Abstract要約: 本稿では,AU解析のための頑健な顔表現モデルMAE-Faceを提案する。 MAE-Faceは、マスク付きオートエンコーディングを自己教師付き事前学習手法として利用し、まず顔画像のコレクションから高容量モデルを学習する。 AUデータセットを微調整した後、MAE-FaceはAU検出とAU強度推定の両方で説得力のある性能を示す。
• 参考スコア（独自算出の注目度）: 24.688377990272738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a fine-grained and local expression behavior measurement, facial action unit (FAU) analysis (e.g., detection and intensity estimation) has been documented for its time-consuming, labor-intensive, and error-prone annotation. Thus a long-standing challenge of FAU analysis arises from the data scarcity of manual annotations, limiting the generalization ability of trained models to a large extent. Amounts of previous works have made efforts to alleviate this issue via semi/weakly supervised methods and extra auxiliary information. However, these methods still require domain knowledge and have not yet avoided the high dependency on data annotation. This paper introduces a robust facial representation model MAE-Face for AU analysis. Using masked autoencoding as the self-supervised pre-training approach, MAE-Face first learns a high-capacity model from a feasible collection of face images without additional data annotations. Then after being fine-tuned on AU datasets, MAE-Face exhibits convincing performance for both AU detection and AU intensity estimation, achieving a new state-of-the-art on nearly all the evaluation results. Further investigation shows that MAE-Face achieves decent performance even when fine-tuned on only 1\% of the AU training set, strongly proving its robustness and generalization performance.
• Abstract（参考訳）: 細粒度および局所的な表現行動測定として、顔行動単位(例えば、検出および強度推定)の分析は、その時間消費、労働集約、およびエラーを起こしやすいアノテーションとして文書化されている。 このように、FAU分析の長年にわたる課題は、手動アノテーションのデータ不足から生じ、訓練されたモデルの一般化能力を広範囲に制限する。 これまでの多くの研究は、半弱監視手法と追加補助情報によってこの問題を緩和しようと努力してきた。 しかし、これらのメソッドはドメイン知識を必要としており、データアノテーションへの高い依存をまだ避けていない。 本稿では,AU分析のための頑健な顔表現モデルMAE-Faceを提案する。 MAE-Faceは、マスク付きオートエンコーディングを自己教師付き事前学習アプローチとして使用し、まず、追加のデータアノテーションなしで顔画像の実行可能なコレクションから高容量モデルを学ぶ。 そして、AUデータセットを微調整した後、MAE-FaceはAU検出とAU強度推定の両方に対して説得力のあるパフォーマンスを示し、ほぼすべての評価結果に対して新たな最先端の達成を実現した。 さらに, AU トレーニングセットの 1 % のみを微調整しても, MAE-Face は良好な性能を示し,その堅牢性と一般化性能を強く証明している。

関連論文リスト

• Standing on the Shoulders of Giants: Reprogramming Visual-Language Model for General Deepfake Detection [16.21235742118949]
  本稿では,よく訓練された視覚言語モデル(VLM)を一般深度検出に活用する手法を提案する。 データ摂動によるモデル予測を操作するモデル再プログラミングパラダイムにより,本手法は事前学習したVLMモデルを再プログラムすることができる。 私たちの優れたパフォーマンスは、トレーニング可能なパラメータのコストを低減し、現実世界のアプリケーションにとって有望なアプローチになります。
  論文  参考訳（メタデータ） (2024-09-04T12:46:30Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Representation Learning and Identity Adversarial Training for Facial Behavior Understanding [3.350769246260559]
  主観的同一性はモデルに対するショートカット学習を提供し、AU予測に対する準最適解をもたらすことを示す。 我々はIAT(Identity Adrial Training)を提案し、アイデンティティ不変の特徴を学習するために強力なIAT正規化が必要であることを実証する。 提案手法であるFMAE(Facial Masked Autoencoder)とIATは単純で汎用的で効果的である。
  論文  参考訳（メタデータ） (2024-07-15T21:13:28Z)
• Occlusion-Robust FAU Recognition by Mining Latent Space of Masked Autoencoders [23.39566752915331]
  顔面行動単位(FAUs)は、きめ細かい表情解析に重要である。 新しいアプローチは、マスク付きオートエンコーダ(MAE)の潜伏空間からの豊富な情報を活用し、FAU機能に変換する。 FAUは、通常の条件下での最先端の手法と同等の性能を達成できる。
  論文  参考訳（メタデータ） (2022-12-08T01:57:48Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Robust and Precise Facial Landmark Detection by Self-Calibrated Pose Attention Network [73.56802915291917]
  より堅牢で正確な顔のランドマーク検出を実現するための半教師付きフレームワークを提案する。 より効果的な顔形状制約をモデル化するために,境界対応ランドマーク強度(BALI)フィールドを提案する。 自己キャリブレーション・ポース・アテンション(SCPA)モデルは、中間的監督を強制する自己学習型目標関数を提供するように設計されている。
  論文  参考訳（メタデータ） (2021-12-23T02:51:08Z)
• FP-Age: Leveraging Face Parsing Attention for Facial Age Estimation in the Wild [50.8865921538953]
  年齢推定に顔のセマンティクスを明示的に組み込む手法を提案する。 我々は,顔解析に基づくネットワークを設計し,異なるスケールで意味情報を学習する。 提案手法は,既存の年齢推定手法を常に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-21T14:31:32Z)
• Meta Auxiliary Learning for Facial Action Unit Detection [84.22521265124806]
  マルチタスク方式でAU検出と表情認識を学習することを検討する。 マルチタスクシナリオにおける負の転送のため、AU検出タスクの性能を常に向上することはできない。 トレーニングFEサンプルの適応重みをメタラーニング方式で学習し,高相関なFEサンプルを自動的に選択するメタラーニング法(MAL)を提案する。
  論文  参考訳（メタデータ） (2021-05-14T02:28:40Z)
• Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer [51.926868759681014]
  骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。 提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
  論文  参考訳（メタデータ） (2020-08-20T09:49:13Z)
• Unsupervised Facial Action Unit Intensity Estimation via Differentiable Optimization [45.07851622835555]
  顔画像からの顔AU強度推定のための教師なしフレームワークGE-Netを提案する。 本フレームワークは,入力画像に一致するように顔パラメータを反復的に更新する,微分可能な最適化を行う。 実験により,本手法は既存手法と比較して最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-04-13T12:56:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。