論文の概要: Analyzing the Feature Extractor Networks for Face Image Synthesis

• arxiv url: http://arxiv.org/abs/2406.02153v1
• Date: Tue, 4 Jun 2024 09:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 17:01:41.458305
• Title: Analyzing the Feature Extractor Networks for Face Image Synthesis
• Title（参考訳）: 顔画像合成のための特徴エクストラクタネットワークの解析
• Authors: Erdi Sarıtaş, Hazım Kemal Ekenel,
• Abstract要約: 本研究では,FID,KID,Precision/Recallといったさまざまな指標を考慮した多様な特徴抽出器(InceptionV3,CLIP,DINOv2,ArcFace)の挙動について検討した。 実験には、$L$正規化、抽出中のモデル注意、機能空間におけるドメイン分布など、機能に関する詳細な分析が含まれている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Advancements like Generative Adversarial Networks have attracted the attention of researchers toward face image synthesis to generate ever more realistic images. Thereby, the need for the evaluation criteria to assess the realism of the generated images has become apparent. While FID utilized with InceptionV3 is one of the primary choices for benchmarking, concerns about InceptionV3's limitations for face images have emerged. This study investigates the behavior of diverse feature extractors -- InceptionV3, CLIP, DINOv2, and ArcFace -- considering a variety of metrics -- FID, KID, Precision\&Recall. While the FFHQ dataset is used as the target domain, as the source domains, the CelebA-HQ dataset and the synthetic datasets generated using StyleGAN2 and Projected FastGAN are used. Experiments include deep-down analysis of the features: $L_2$ normalization, model attention during extraction, and domain distributions in the feature space. We aim to give valuable insights into the behavior of feature extractors for evaluating face image synthesis methodologies. The code is publicly available at https://github.com/ThEnded32/AnalyzingFeatureExtractors.
• Abstract（参考訳）: Generative Adversarial Networksのような進歩は、よりリアルな画像を生成するために、顔画像合成に研究者の注目を集めている。 これにより、生成した画像のリアリズムを評価するための評価基準の必要性が明らかになった。 InceptionV3で使用されるFIDはベンチマークの主要な選択肢の1つだが、InceptionV3の顔画像に対する制限に関する懸念が浮上している。 本研究では,FID,KID,Precision\&Recallといったさまざまな指標を考慮した多様な特徴抽出器(InceptionV3,CLIP,DINOv2,ArcFace)の挙動について検討した。 FFHQデータセットがターゲットドメインとして使用される一方で、ソースドメインとして、CelebA-HQデータセットとStyleGAN2とProjected FastGANを使用して生成された合成データセットが使用される。 L_2$正規化、抽出中のモデル注意、特徴空間におけるドメイン分布などである。 顔画像合成手法を評価するために,特徴抽出器の挙動について貴重な知見を提供する。 コードはhttps://github.com/ThEnded32/AnalyzingFeatureExtractorsで公開されている。

関連論文リスト

• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [49.93362169016503]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• Rethinking the Up-Sampling Operations in CNN-based Generative Network for Generalizable Deepfake Detection [86.97062579515833]
  我々は、アップサンプリング操作から生じる一般化された構造的アーティファクトをキャプチャし、特徴付ける手段として、NPR(Neighboring Pixel Relationships)の概念を紹介した。 tft28の異なる生成モデルによって生成されたサンプルを含む、オープンワールドデータセット上で包括的な分析を行う。 この分析は、新しい最先端のパフォーマンスを確立し、既存の手法よりも優れたtft11.6%の向上を示している。
  論文  参考訳（メタデータ） (2023-12-16T14:27:06Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• F?D: On understanding the role of deep feature spaces on face generation evaluation [5.655130837404874]
  異なる深い特徴とその設計選択が知覚的計量に与える影響について検討する。 我々の分析の重要な要素は、ディープフェイスジェネレータを用いた合成反事実顔の作成である。
  論文  参考訳（メタデータ） (2023-05-31T17:21:58Z)
• AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
  ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。 我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T16:54:38Z)
• SD-GAN: Semantic Decomposition for Face Image Synthesis with Discrete Attribute [0.0]
  本稿では,SD-GANと呼ばれる意味的分解による顔の離散属性合成に挑戦する革新的な枠組みを提案する。 融合ネットワークは、より優れたアイデンティティ保存と離散属性合成のために3D埋め込みを統合する。 既存のデータセットにおける離散属性の欠如を解消するための,大規模で価値のあるデータセットMEGNを構築した。
  論文  参考訳（メタデータ） (2022-07-12T04:23:38Z)
• Probabilistic Tracking with Deep Factors [8.030212474745879]
  因子グラフに基づく確率的追跡フレームワークにおける特徴量に対する生成密度と組み合わせたディープ・フィーチャー・エンコーディングの使い方を示す。 本稿では,学習した特徴エンコーダと生成密度を組み合わせる可能性モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-02T21:31:51Z)
• Learned Spatial Representations for Few-shot Talking-Head Synthesis [68.3787368024951]
  複数発話頭合成のための新しいアプローチを提案する。 この異方性表現は,従来の手法よりも大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:59:42Z)
• Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
  画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。 生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
  論文  参考訳（メタデータ） (2020-07-20T18:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。