論文の概要: Digi2Real: Bridging the Realism Gap in Synthetic Data Face Recognition via Foundation Models
- arxiv url: http://arxiv.org/abs/2411.02188v2
- Date: Tue, 05 Nov 2024 17:09:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 15:00:04.196739
- Title: Digi2Real: Bridging the Realism Gap in Synthetic Data Face Recognition via Foundation Models
- Title（参考訳）: Digi2Real: 基礎モデルによる合成データ顔認識におけるリアリズムギャップのブリッジ
- Authors: Anjith George, Sebastien Marcel,
- Abstract要約: 本稿では,合成顔画像のリアリズム向上を目的とした,リアリズム伝達のための新しいフレームワークを提案する。
グラフィクスパイプラインの制御可能な側面とリアリズム強化技術を統合することで、我々は大量のリアルなバリエーションを生成する。
- 参考スコア（独自算出の注目度）: 4.910937238451485
- License:
- Abstract: The accuracy of face recognition systems has improved significantly in the past few years, thanks to the large amount of data collected and the advancement in neural network architectures. However, these large-scale datasets are often collected without explicit consent, raising ethical and privacy concerns. To address this, there have been proposals to use synthetic datasets for training face recognition models. Yet, such models still rely on real data to train the generative models and generally exhibit inferior performance compared to those trained on real datasets. One of these datasets, DigiFace, uses a graphics pipeline to generate different identities and different intra-class variations without using real data in training the models. However, the performance of this approach is poor on face recognition benchmarks, possibly due to the lack of realism in the images generated from the graphics pipeline. In this work, we introduce a novel framework for realism transfer aimed at enhancing the realism of synthetically generated face images. Our method leverages the large-scale face foundation model, and we adapt the pipeline for realism enhancement. By integrating the controllable aspects of the graphics pipeline with our realism enhancement technique, we generate a large amount of realistic variations-combining the advantages of both approaches. Our empirical evaluations demonstrate that models trained using our enhanced dataset significantly improve the performance of face recognition systems over the baseline. The source code and datasets will be made available publicly.
- Abstract（参考訳）: 顔認識システムの精度は、膨大なデータ収集とニューラルネットワークアーキテクチャの進歩により、ここ数年で大幅に向上している。
しかし、これらの大規模なデータセットはしばしば明示的な同意なしに収集され、倫理的およびプライバシー上の懸念を提起する。
これを解決するために、顔認識モデルのトレーニングに合成データセットを使用することが提案されている。
しかし、そのようなモデルは生成モデルをトレーニングするために実際のデータに依存しており、実際のデータセットでトレーニングされたモデルよりも一般的にパフォーマンスが劣っている。
これらのデータセットの1つであるDigiFaceは、グラフィックスパイプラインを使用して、モデルのトレーニングに実際のデータを使用することなく、異なるIDと異なるクラス内のバリエーションを生成する。
しかし、この手法の性能は顔認識のベンチマークでは不十分であり、おそらくはグラフィックパイプラインから生成された画像にリアリズムが欠如しているためだろう。
本研究では,合成顔画像のリアリズム向上を目的とした,リアリズム伝達のための新しいフレームワークを提案する。
提案手法は,大規模な顔基盤モデルを利用して,現実性向上のためのパイプラインを適応する。
グラフィクスパイプラインの制御可能な側面とリアリズムの強化技術を統合することで、両方のアプローチの利点を組み合せた現実的なバリエーションを大量に生成する。
実験により,拡張データセットを用いてトレーニングしたモデルは,ベースライン上での顔認識システムの性能を著しく向上することが示された。
ソースコードとデータセットは一般公開される予定だ。
関連論文リスト
- Unveiling Synthetic Faces: How Synthetic Datasets Can Expose Real Identities [22.8742248559748]
6つの最先端の合成顔認識データセットにおいて、元の実データからのサンプルが漏洩していることを示す。
本論文は,ジェネレータモデルのトレーニングデータから生成した合成顔認証データセットへの漏洩を示す最初の研究である。
論文 参考訳（メタデータ） (2024-10-31T15:17:14Z) - Towards Realistic Data Generation for Real-World Super-Resolution [58.88039242455039]
RealDGenは、現実世界の超解像のために設計された教師なし学習データ生成フレームワークである。
我々は,コンテンツ分解脱結合拡散モデルに統合されたコンテンツと劣化抽出戦略を開発する。
実験により、RealDGenは、現実世界の劣化を反映する大規模で高品質なペアデータを生成するのに優れていることが示された。
論文 参考訳（メタデータ） (2024-06-11T13:34:57Z) - SDFR: Synthetic Data for Face Recognition Competition [51.9134406629509]
大規模な顔認識データセットは、インターネットをクロールして個人の同意なしに収集し、法的、倫理的、プライバシー上の懸念を提起する。
近年、ウェブクローリングされた顔認識データセットにおける懸念を軽減するために、合成顔認識データセットの生成が提案されている。
本稿では,第18回IEEE International Conference on Automatic Face and Gesture Recognition (FG 2024)と共同で開催されているSynthetic Data for Face Recognition (SDFR)コンペティションの概要を紹介する。
SDFRコンペティションは2つのタスクに分けられ、参加者は新しい合成データセットまたは/または既存のデータセットを使用して顔認識システムを訓練することができる。
論文 参考訳（メタデータ） (2024-04-06T10:30:31Z) - Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。
合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。
提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
論文 参考訳（メタデータ） (2024-03-28T22:25:05Z) - Improving the Effectiveness of Deep Generative Data [5.856292656853396]
下流の画像処理タスクのための純粋合成画像のモデルを訓練すると、実際のデータに対するトレーニングに比べ、望ましくない性能低下が生じる。
本稿では,この現象に寄与する要因を記述した新しい分類法を提案し,CIFAR-10データセットを用いて検討する。
本手法は,合成データと合成データの混合による学習と合成データのみの学習において,下流分類タスクのベースラインに優れる。
論文 参考訳（メタデータ） (2023-11-07T12:57:58Z) - SynthDistill: Face Recognition with Knowledge Distillation from
Synthetic Data [8.026313049094146]
最先端の顔認識ネットワークは計算コストが高く、モバイルアプリケーションでは利用できないことが多い。
本稿では,教師の事前学習した顔認識モデルの知識を合成データを用いて抽出し,軽量な顔認識モデルを訓練するための新しい枠組みを提案する。
我々は、識別ラベルのない合成顔画像を用いて、合成データセットのクラス内変動生成における問題を緩和する。
論文 参考訳（メタデータ） (2023-08-28T19:15:27Z) - Is synthetic data from generative models ready for image recognition? [69.42645602062024]
本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。
本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
論文 参考訳（メタデータ） (2022-10-14T06:54:24Z) - Methodology for Building Synthetic Datasets with Virtual Humans [1.5556923898855324]
大規模なデータセットは、ディープニューラルネットワークの改善、ターゲットトレーニングに使用することができる。
特に,100の合成IDからなるデータセットにまたがる複数の2次元画像のレンダリングに3次元形態素顔モデルを用いる。
論文 参考訳（メタデータ） (2020-06-21T10:29:36Z) - Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。
画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。
私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
論文 参考訳（メタデータ） (2020-03-27T21:45:41Z) - Learning Inverse Rendering of Faces from Real-world Videos [52.313931830408386]
既存の方法は、顔画像を3つの構成要素(アルベド、ノーマル、照明)に分解する。
本稿では,アルベドと正常の整合性の仮定に基づいて,我々のモデルを実顔ビデオでトレーニングするための弱い教師付きトレーニング手法を提案する。
私たちのネットワークは、実データと合成データの両方で訓練されています。
論文 参考訳（メタデータ） (2020-03-26T17:26:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。