論文の概要: Leveraging Synthetic Data for Generalizable and Fair Facial Action Unit Detection

• arxiv url: http://arxiv.org/abs/2403.10737v1
• Date: Fri, 15 Mar 2024 23:50:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 22:04:53.147618
• Title: Leveraging Synthetic Data for Generalizable and Fair Facial Action Unit Detection
• Title（参考訳）: 一般化可能かつ公平な行動単位検出のための合成データの活用
• Authors: Liupei Lu, Yufeng Yin, Yuming Gu, Yizhen Wu, Pratusha Prasad, Yajie Zhao, Mohammad Soleymani,
• Abstract要約: 本稿では,合成データとマルチソースドメイン適応(MSDA)を用いて,ラベル付きデータの不足や対象の多様性の問題に対処することを提案する。 具体的には,合成表情再ターゲティングにより多様なデータセットを生成することを提案する。 ジェンダーフェアネスをさらに向上させるために、PM2は実際のデータの特徴と女性と男性の合成画像とを一致させる。
• 参考スコア（独自算出の注目度）: 9.404202619102943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial action unit (AU) detection is a fundamental block for objective facial expression analysis. Supervised learning approaches require a large amount of manual labeling which is costly. The limited labeled data are also not diverse in terms of gender which can affect model fairness. In this paper, we propose to use synthetically generated data and multi-source domain adaptation (MSDA) to address the problems of the scarcity of labeled data and the diversity of subjects. Specifically, we propose to generate a diverse dataset through synthetic facial expression re-targeting by transferring the expressions from real faces to synthetic avatars. Then, we use MSDA to transfer the AU detection knowledge from a real dataset and the synthetic dataset to a target dataset. Instead of aligning the overall distributions of different domains, we propose Paired Moment Matching (PM2) to align the features of the paired real and synthetic data with the same facial expression. To further improve gender fairness, PM2 matches the features of the real data with a female and a male synthetic image. Our results indicate that synthetic data and the proposed model improve both AU detection performance and fairness across genders, demonstrating its potential to solve AU detection in-the-wild.
• Abstract（参考訳）: AU(Facial Action Unit)検出は、顔表情分析の基本的なブロックである。 教師付き学習アプローチでは、大量の手動ラベリングが必要で、コストがかかる。 限定ラベル付きデータは、モデルフェアネスに影響を与える可能性のある性別の観点からも多様ではない。 本稿では,合成データとマルチソースドメイン適応(MSDA)を用いて,ラベル付きデータの不足や対象の多様性の問題に対処する。 具体的には,表情を現実の顔から合成アバターに転送することで,表情の再ターゲット化を通じて多様なデータセットを生成することを提案する。 次に,MSDAを用いて実際のデータセットと合成データセットからターゲットデータセットにAU検出知識を転送する。 異なるドメインの全体分布を整列する代わりに、ペアドモーメントマッチング(PM2)を提案し、ペア化された実データと合成データの特徴を同じ表情で整列させる。 ジェンダーフェアネスをさらに向上させるために、PM2は実際のデータの特徴と女性と男性の合成画像とを一致させる。 以上の結果から, 合成データとモデルにより, 性別間でのAU検出性能と公正性の両方が向上し, AU検出を未解決で解決できる可能性が示唆された。

関連論文リスト

• SynFER: Towards Boosting Facial Expression Recognition with Synthetic Data [44.304022773272415]
  ハイレベルなテキスト記述に基づく表情画像データの合成のための新しいフレームワークであるSynFERを紹介する。 本稿では,表情ラベルの修正を支援するために,生成プロセスと擬似ラベル生成手法を提案する。 提案手法は,AffectNetトレーニングセットサイズに相当する合成データのみを用いてトレーニングを行う場合,AffectNetの67.23%の分類精度を実現する。
  論文  参考訳（メタデータ） (2024-10-13T14:58:21Z)
• SDFR: Synthetic Data for Face Recognition Competition [51.9134406629509]
  大規模な顔認識データセットは、インターネットをクロールして個人の同意なしに収集し、法的、倫理的、プライバシー上の懸念を提起する。 近年、ウェブクローリングされた顔認識データセットにおける懸念を軽減するために、合成顔認識データセットの生成が提案されている。 本稿では,第18回IEEE International Conference on Automatic Face and Gesture Recognition (FG 2024)と共同で開催されているSynthetic Data for Face Recognition (SDFR)コンペティションの概要を紹介する。 SDFRコンペティションは2つのタスクに分けられ、参加者は新しい合成データセットまたは/または既存のデータセットを使用して顔認識システムを訓練することができる。
  論文  参考訳（メタデータ） (2024-04-06T10:30:31Z)
• Bias and Diversity in Synthetic-based Face Recognition [12.408456748469426]
  合成顔認証データセットの多様性が、真正なデータセットとどのように比較されるかを検討する。 性別、民族、年齢、地位の分布に注目します。 バイアスに関しては、合成ベースモデルが真ベースモデルと類似したバイアス挙動を持っていることが分かる。
  論文  参考訳（メタデータ） (2023-11-07T13:12:34Z)
• GANDiffFace: Controllable Generation of Synthetic Datasets for Face Recognition with Realistic Variations [2.7467281625529134]
  本研究は,顔認識のための合成データセット生成のための新しいフレームワークであるGANDiffFaceを紹介する。 GANDiffFaceは、GAN(Generative Adversarial Networks)とDiffusionモデルのパワーを組み合わせて、既存の合成データセットの制限を克服する。
  論文  参考訳（メタデータ） (2023-05-31T15:49:12Z)
• Synthetic-to-Real Domain Adaptation for Action Recognition: A Dataset and Baseline Performances [76.34037366117234]
  ロボット制御ジェスチャー(RoCoG-v2)と呼ばれる新しいデータセットを導入する。 データセットは7つのジェスチャークラスの実ビデオと合成ビデオの両方で構成されている。 我々は,最先端の行動認識とドメイン適応アルゴリズムを用いて結果を示す。
  論文  参考訳（メタデータ） (2023-03-17T23:23:55Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Delving into High-Quality Synthetic Face Occlusion Segmentation Datasets [83.749895930242]
  そこで本研究では,高品質な自然主義的合成隠蔽顔を製造するための2つの手法を提案する。 両手法の有効性とロバスト性を実証的に示す。 我々は,RealOccとRealOcc-Wildという,微細なアノテーションを付加した高精細な実世界の顔データセットを2つ提示する。
  論文  参考訳（メタデータ） (2022-05-12T17:03:57Z)
• On the use of automatically generated synthetic image datasets for benchmarking face recognition [2.0196229393131726]
  GAN(Generative Adversarial Networks)の最近の進歩は、実際のデータセットを合成データセットで置き換える経路を提供する。 現実的な顔画像を合成するためのGAN(Generative Adversarial Networks)の最近の進歩は、実際のデータセットを合成データセットで置き換える経路を提供する。 合成データセットのベンチマーク結果は、良い置換であり、多くの場合、実際のデータセットのベンチマークと同様のエラー率とシステムランキングを提供する。
  論文  参考訳（メタデータ） (2021-06-08T09:54:02Z)
• Transitioning from Real to Synthetic data: Quantifying the bias in model [1.6134566438137665]
  本研究では,合成データを用いたモデルにおけるバイアスと公平性のトレードオフを確立することを目的とする。 合成データを用いて訓練したモデルには、様々なレベルのバイアスの影響があることを実証する。
  論文  参考訳（メタデータ） (2021-05-10T06:57:14Z)
• Representative & Fair Synthetic Data [68.8204255655161]
  公平性制約を自己監督学習プロセスに組み込むためのフレームワークを提示する。 私たちはuci成人国勢調査データセットの代表者および公正版を作成します。 我々は、代表的かつ公正な合成データを将来有望なビルディングブロックとみなし、歴史的世界ではなく、私たちが生きようとしている世界についてアルゴリズムを教える。
  論文  参考訳（メタデータ） (2021-04-07T09:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。