論文の概要: F?D: On understanding the role of deep feature spaces on face generation evaluation

• arxiv url: http://arxiv.org/abs/2305.20048v3
• Date: Fri, 11 Aug 2023 17:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 16:53:44.520876
• Title: F?D: On understanding the role of deep feature spaces on face generation evaluation
• Title（参考訳）: F? D:顔生成評価における深部特徴空間の役割の理解について
• Authors: Krish Kabra, Guha Balakrishnan
• Abstract要約: 異なる深い特徴とその設計選択が知覚的計量に与える影響について検討する。 我々の分析の重要な要素は、ディープフェイスジェネレータを用いた合成反事実顔の作成である。
• 参考スコア（独自算出の注目度）: 5.655130837404874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Perceptual metrics, like the Fr\'echet Inception Distance (FID), are widely used to assess the similarity between synthetically generated and ground truth (real) images. The key idea behind these metrics is to compute errors in a deep feature space that captures perceptually and semantically rich image features. Despite their popularity, the effect that different deep features and their design choices have on a perceptual metric has not been well studied. In this work, we perform a causal analysis linking differences in semantic attributes and distortions between face image distributions to Fr\'echet distances (FD) using several popular deep feature spaces. A key component of our analysis is the creation of synthetic counterfactual faces using deep face generators. Our experiments show that the FD is heavily influenced by its feature space's training dataset and objective function. For example, FD using features extracted from ImageNet-trained models heavily emphasize hats over regions like the eyes and mouth. Moreover, FD using features from a face gender classifier emphasize hair length more than distances in an identity (recognition) feature space. Finally, we evaluate several popular face generation models across feature spaces and find that StyleGAN2 consistently ranks higher than other face generators, except with respect to identity (recognition) features. This suggests the need for considering multiple feature spaces when evaluating generative models and using feature spaces that are tuned to nuances of the domain of interest.
• Abstract（参考訳）: Fr\'echet Inception Distance (FID)のような知覚メトリクスは、合成生成画像と地上の真実画像(実画像)の類似性を評価するために広く用いられている。 これらのメトリクスの背後にある重要なアイデアは、知覚的かつセマンティックにリッチな画像特徴をキャプチャする、深い機能領域におけるエラーの計算である。 その人気にもかかわらず、異なる深い特徴とその設計選択が知覚的メートル法に与える影響はよく研究されていない。 本研究では,いくつかの一般的な深層特徴空間を用いて,顔画像分布とfr\'echet距離(fd)との間の意味属性と歪みの差異を関連付けた因果分析を行う。 分析の重要な要素は,ディープフェイスジェネレータを用いた合成偽顔の作成である。 実験の結果,FDは特徴空間のトレーニングデータセットと目的関数に大きく影響されていることがわかった。 例えば、ImageNetでトレーニングされたモデルから抽出された機能を使用してFDは、目や口などの領域に重きを置く。 さらに、顔の性別分類器の特徴を用いたFDは、アイデンティティ(認識)特徴空間における距離よりも髪の長さを強調する。 最後に,特徴空間にまたがる複数の人気顔生成モデルを評価し,識別(認識)機能を除き,StyleGAN2が他の顔生成装置よりも常に上位にあることを確認する。 これは、生成モデルを評価し、関心領域のニュアンスに合わせて調整された特徴空間を使用する際に、複数の特徴空間を考える必要性を示唆する。

関連論文リスト

• Analyzing the Feature Extractor Networks for Face Image Synthesis [0.0]
  本研究では,FID,KID,Precision/Recallといったさまざまな指標を考慮した多様な特徴抽出器(InceptionV3,CLIP,DINOv2,ArcFace)の挙動について検討した。 実験には、$L$正規化、抽出中のモデル注意、機能空間におけるドメイン分布など、機能に関する詳細な分析が含まれている。
  論文  参考訳（メタデータ） (2024-06-04T09:41:40Z)
• MDFL: Multi-domain Diffusion-driven Feature Learning [19.298491870280213]
  マルチドメイン拡散駆動型特徴学習ネットワーク(MDFL)を提案する。 MDFLはモデルが本当に重視する効果的な情報領域を再定義します。 MDFLは高次元データの特徴抽出性能を著しく向上することを示した。
  論文  参考訳（メタデータ） (2023-11-16T02:55:21Z)
• Hierarchical Forgery Classifier On Multi-modality Face Forgery Clues [61.37306431455152]
  我々は,HFC-MFFD (hierarchical Forgery for Multi-modality Face Forgery Detection) を提案する。 HFC-MFFDは、マルチモーダルシナリオにおけるフォージェリー認証を強化するために、堅牢なパッチベースのハイブリッド表現を学習する。 クラス不均衡問題を緩和し、さらに検出性能を高めるために、特定の階層的な顔偽造を提案する。
  論文  参考訳（メタデータ） (2022-12-30T10:54:29Z)
• Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
  既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。 2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。 この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
  論文  参考訳（メタデータ） (2022-07-19T03:31:13Z)
• Probabilistic Tracking with Deep Factors [8.030212474745879]
  因子グラフに基づく確率的追跡フレームワークにおける特徴量に対する生成密度と組み合わせたディープ・フィーチャー・エンコーディングの使い方を示す。 本稿では,学習した特徴エンコーダと生成密度を組み合わせる可能性モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-02T21:31:51Z)
• Heterogeneous Face Frontalization via Domain Agnostic Learning [74.86585699909459]
  本研究では, 視覚領域における正面視を, ポーズのバリエーションで合成できるドメイン非依存学習型生成逆数ネットワーク(DAL-GAN)を提案する。 DAL-GANは、補助分類器を備えたジェネレータと、より優れた合成のために局所的およびグローバルなテクスチャ識別をキャプチャする2つの識別器から構成される。
  論文  参考訳（メタデータ） (2021-07-17T20:41:41Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)
• Dual-Attention GAN for Large-Pose Face Frontalization [59.689836951934694]
  本稿では,フォトリアリスティック顔フロンダル化のためのDA-GAN(Dual-Attention Generative Adversarial Network)を提案する。 具体的には、ローカル機能と長距離依存関係を統合するために、自己アテンションベースのジェネレータが導入された。 顔領域の局所的特徴を強調するために,新しい顔認識に基づく識別器を適用した。
  論文  参考訳（メタデータ） (2020-02-17T20:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。