論文の概要: SynFER: Towards Boosting Facial Expression Recognition with Synthetic Data
- arxiv url: http://arxiv.org/abs/2410.09865v2
- Date: Wed, 20 Nov 2024 07:38:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:10:38.833645
- Title: SynFER: Towards Boosting Facial Expression Recognition with Synthetic Data
- Title(参考訳): SynFER: 表情認識を合成データで強化する
- Authors: Xilin He, Cheng Luo, Xiaole Xian, Bing Li, Siyang Song, Muhammad Haris Khan, Weicheng Xie, Linlin Shen, Zongyuan Ge,
- Abstract要約: ハイレベルなテキスト記述に基づく表情画像データの合成のための新しいフレームワークであるSynFERを紹介する。
本稿では,表情ラベルの修正を支援するために,生成プロセスと擬似ラベル生成手法を提案する。
提案手法は,AffectNetトレーニングセットサイズに相当する合成データのみを用いてトレーニングを行う場合,AffectNetの67.23%の分類精度を実現する。
- 参考スコア(独自算出の注目度): 44.304022773272415
- License:
- Abstract: Facial expression datasets remain limited in scale due to privacy concerns, the subjectivity of annotations, and the labor-intensive nature of data collection. This limitation poses a significant challenge for developing modern deep learning-based facial expression analysis models, particularly foundation models, that rely on large-scale data for optimal performance. To tackle the overarching and complex challenge, we introduce SynFER (Synthesis of Facial Expressions with Refined Control), a novel framework for synthesizing facial expression image data based on high-level textual descriptions as well as more fine-grained and precise control through facial action units. To ensure the quality and reliability of the synthetic data, we propose a semantic guidance technique to steer the generation process and a pseudo-label generator to help rectify the facial expression labels for the synthetic images. To demonstrate the generation fidelity and the effectiveness of the synthetic data from SynFER, we conduct extensive experiments on representation learning using both synthetic data and real-world data. Experiment results validate the efficacy of the proposed approach and the synthetic data. Notably, our approach achieves a 67.23% classification accuracy on AffectNet when training solely with synthetic data equivalent to the AffectNet training set size, which increases to 69.84% when scaling up to five times the original size. Our code will be made publicly available.
- Abstract(参考訳): 顔の表情データセットは、プライバシの懸念、アノテーションの主観性、データ収集の労働集約性により、規模が限られている。
この制限は、最適なパフォーマンスのために大規模データに依存する、現代のディープラーニングベースの表情分析モデル、特に基礎モデルを開発する上で大きな課題となる。
この課題に対処するために,ハイレベルなテキスト記述に基づく表情画像データの合成フレームワークであるSynFER(Synthesis of Facial Expressions with Refined Control)を導入する。
合成データの質と信頼性を確保するため,合成画像の表情ラベルの修正を支援するために,生成プロセスと擬似ラベル生成装置を操る意味指導手法を提案する。
そこで我々は,合成データと実世界のデータの両方を用いた表現学習に関する広範な実験を行った。
実験結果は,提案手法の有効性と合成データの有効性を検証した。
特に,AffectNetのトレーニングセットサイズに相当する合成データのみを用いてトレーニングすると,AffectNetの67.23%の分類精度が達成され,元の5倍までスケールアップすると69.84%に向上する。
私たちのコードは公開されます。
関連論文リスト
- Leveraging Programmatically Generated Synthetic Data for Differentially Private Diffusion Training [4.815212947276105]
プログラムで生成された合成データは、プライバシーの漏洩を避けるために、分類のための差分プライベートトレーニングに使われてきた。
合成データで訓練されたモデルは非現実的なランダムな画像を生成し、生成モデルに合成データを適用するための課題を提起する。
この課題に対処するために、拡散モデルで生成された合成データを活用するDPSynGenを提案する。
論文 参考訳(メタデータ) (2024-12-13T04:22:23Z) - Second FRCSyn-onGoing: Winning Solutions and Post-Challenge Analysis to Improve Face Recognition with Synthetic Data [104.30479583607918]
第2回FRCSyn-onGoingチャレンジは、CVPR 2024で開始された第2回顔認識チャレンジ(FRCSyn)に基づいている。
我々は、顔認識における現在の課題を解決するために、個々のデータと実際のデータの組み合わせの両方で合成データの利用を検討することに重点を置いている。
論文 参考訳(メタデータ) (2024-12-02T11:12:01Z) - Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks [5.0243930429558885]
本稿では,下流分類器の学習のための合成データの生成と利用を最適化するパイプラインである知識リサイクル(KR)を紹介する。
このパイプラインの核心は生成的知識蒸留(GKD)であり、情報の品質と有用性を大幅に向上させる技術が提案されている。
その結果、実データと合成データでトレーニングされたモデルと、実データでトレーニングされたモデルとの性能差が著しく低下した。
論文 参考訳(メタデータ) (2024-07-22T10:31:07Z) - Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。
合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
論文 参考訳(メタデータ) (2024-04-11T06:34:17Z) - If It's Not Enough, Make It So: Reducing Authentic Data Demand in Face Recognition through Synthetic Faces [16.977459035497162]
大規模な顔データセットは、主にWebベースのイメージから作成され、明示的なユーザの同意が欠如している。
本稿では,合成顔データを用いて効果的な顔認識モデルの訓練を行う方法について検討する。
論文 参考訳(メタデータ) (2024-04-04T15:45:25Z) - Learning from Synthetic Data for Visual Grounding [55.21937116752679]
そこで本研究では,SynGroundが市販のビジョン・アンド・ランゲージモデルのローカライズ能力を向上できることを示す。
SynGroundで生成されたデータは、事前訓練されたALBEFモデルとBLIPモデルのポインティングゲーム精度をそれぞれ4.81%、絶対パーセンテージポイント17.11%向上させる。
論文 参考訳(メタデータ) (2024-03-20T17:59:43Z) - Training Robust Deep Physiological Measurement Models with Synthetic
Video-based Data [11.31971398273479]
合成生理的信号とそれに対応する顔画像に現実の雑音を加える方法を提案する。
その結果,MAEの平均値は6.9から2.0に減少した。
論文 参考訳(メタデータ) (2023-11-09T13:55:45Z) - Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A
Comprehensive Benchmark [56.8042116967334]
合成データは、機械学習モデルのトレーニングの代替となる。
合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。
本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
論文 参考訳(メタデータ) (2023-10-25T20:32:02Z) - Delving into High-Quality Synthetic Face Occlusion Segmentation Datasets [83.749895930242]
そこで本研究では,高品質な自然主義的合成隠蔽顔を製造するための2つの手法を提案する。
両手法の有効性とロバスト性を実証的に示す。
我々は,RealOccとRealOcc-Wildという,微細なアノテーションを付加した高精細な実世界の顔データセットを2つ提示する。
論文 参考訳(メタデータ) (2022-05-12T17:03:57Z) - On the use of automatically generated synthetic image datasets for
benchmarking face recognition [2.0196229393131726]
GAN(Generative Adversarial Networks)の最近の進歩は、実際のデータセットを合成データセットで置き換える経路を提供する。
現実的な顔画像を合成するためのGAN(Generative Adversarial Networks)の最近の進歩は、実際のデータセットを合成データセットで置き換える経路を提供する。
合成データセットのベンチマーク結果は、良い置換であり、多くの場合、実際のデータセットのベンチマークと同様のエラー率とシステムランキングを提供する。
論文 参考訳(メタデータ) (2021-06-08T09:54:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。