論文の概要: ExFaceGAN: Exploring Identity Directions in GAN's Learned Latent Space
for Synthetic Identity Generation
- arxiv url: http://arxiv.org/abs/2307.05151v2
- Date: Tue, 18 Jul 2023 21:40:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 16:35:16.801295
- Title: ExFaceGAN: Exploring Identity Directions in GAN's Learned Latent Space
for Synthetic Identity Generation
- Title(参考訳): exfacegan:ganの学習した潜在空間におけるアイデンティティの方向性を探る
- Authors: Fadi Boutros, Marcel Klemt, Meiling Fang, Arjan Kuijper, Naser Damer
- Abstract要約: 本稿では,事前学習したGANの潜在空間における識別情報をアンタングル化するフレームワークであるExFaceGANを提案する。
境界の両側からサンプリングすることで、ExFaceGANは複数の合成アイデンティティのサンプルを生成することができる。
例えば、ExFaceGANが生成したデータが顔認識モデルのトレーニングに有効であることを実証的に証明する。
- 参考スコア(独自算出の注目度): 16.494722503803196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative models have recently presented impressive results in
generating realistic face images of random synthetic identities.
To generate multiple samples of a certain synthetic identity, previous works
proposed to disentangle the latent space of GANs by incorporating additional
supervision or regularization, enabling the manipulation of certain attributes.
Others proposed to disentangle specific factors in unconditional pretrained
GANs latent spaces to control their output, which also requires supervision by
attribute classifiers. Moreover, these attributes are entangled in GAN's latent
space, making it difficult to manipulate them without affecting the identity
information. We propose in this work a framework, ExFaceGAN, to disentangle
identity information in pretrained GANs latent spaces, enabling the generation
of multiple samples of any synthetic identity. Given a reference latent code of
any synthetic image and latent space of pretrained GAN, our ExFaceGAN learns an
identity directional boundary that disentangles the latent space into two
sub-spaces, with latent codes of samples that are either identity similar or
dissimilar to a reference image. By sampling from each side of the boundary,
our ExFaceGAN can generate multiple samples of synthetic identity without the
need for designing a dedicated architecture or supervision from attribute
classifiers. We demonstrate the generalizability and effectiveness of ExFaceGAN
by integrating it into learned latent spaces of three SOTA GAN approaches. As
an example of the practical benefit of our ExFaceGAN, we empirically prove that
data generated by ExFaceGAN can be successfully used to train face recognition
models (\url{https://github.com/fdbtrs/ExFaceGAN}).
- Abstract(参考訳): 深層生成モデルは、最近、ランダムな合成アイデンティティの現実的な顔画像を生成する素晴らしい結果を示した。
特定の合成アイデンティティの複数のサンプルを生成するために、GANの潜伏空間を、追加の監督や正規化を取り入れて、特定の属性の操作を可能にした以前の研究が提案されている。
他の者は、非条件で事前訓練されたGANの潜在空間内の特定の因子をアンタングルして出力を制御することを提案した。
さらに、これらの属性はganの潜在空間に絡み合っており、識別情報に影響を与えることなくそれらを操作することが困難である。
本稿では,事前訓練されたgans潜在空間におけるid情報を分離し,任意の合成idの複数のサンプルを生成するためのフレームワークexfaceganを提案する。
我々のExFaceGANは、任意の合成画像の参照潜時符号と事前訓練されたGANの潜時空間の参照潜時符号から、潜時空間を2つの部分空間にアンタングルするアイデンティティ指向境界を学習する。
境界の両側からサンプリングすることで、ExFaceGANは専用のアーキテクチャを設計したり属性分類器から監督したりすることなく、複数の合成アイデンティティのサンプルを生成することができる。
我々は,これらを3つのSOTA GANアプローチの学習潜在空間に統合することにより,ExFaceGANの一般化性と有効性を示す。
ExFaceGANの実用的なメリットの例として、ExFaceGANが生成したデータが顔認識モデル(\url{https://github.com/fdbtrs/ExFaceGAN})のトレーニングに有効であることを示す。
関連論文リスト
- CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using
Score-Based Diffusion Models [57.9771859175664]
最近の生成優先法は、有望なブラインドフェイス修復性能を示している。
入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。
本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
論文 参考訳(メタデータ) (2024-02-08T23:51:49Z) - When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for
Personalized Image Generation [60.305112612629465]
テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。
本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。
提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
論文 参考訳(メタデータ) (2023-11-29T09:05:14Z) - GANDiffFace: Controllable Generation of Synthetic Datasets for Face
Recognition with Realistic Variations [2.7467281625529134]
本研究は,顔認識のための合成データセット生成のための新しいフレームワークであるGANDiffFaceを紹介する。
GANDiffFaceは、GAN(Generative Adversarial Networks)とDiffusionモデルのパワーを組み合わせて、既存の合成データセットの制限を克服する。
論文 参考訳(メタデータ) (2023-05-31T15:49:12Z) - Identity-driven Three-Player Generative Adversarial Network for
Synthetic-based Face Recognition [14.73254194339562]
本稿では,識別情報の生成プロセスへの統合を可能にする3プレーヤ生成逆ネットワーク(GAN)フレームワーク,すなわちIDnetを提案する。
我々は,従来の2プレーヤGANと比較して,IDnet合成画像の識別性が高いことを実証的に証明した。
顔認識モデルの訓練におけるIDnetデータの適用性について,広範囲の顔認識ベンチマークを用いて評価を行った。
論文 参考訳(メタデータ) (2023-04-30T00:04:27Z) - Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。
具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。
推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
論文 参考訳(メタデータ) (2023-01-20T07:36:29Z) - Haven't I Seen You Before? Assessing Identity Leakage in Synthetic
Irises [4.142375560633827]
本稿では, GANトレーニングプロセスの様々な点における3つのアイリスマッチングの解析を行い, 実際のトレーニングサンプルが生成過程を通じて漏洩する危険のある場所と時期を診断する。
以上の結果から,ほとんどの合成サンプルは同一性漏洩の兆候を示していないが,生成したサンプルのごく一部は,ほぼ完璧に一致していることがわかった。
論文 参考訳(メタデータ) (2022-11-03T00:34:47Z) - High-resolution Face Swapping via Latent Semantics Disentanglement [50.23624681222619]
本稿では,事前学習したGANモデルの事前知識を用いた,新しい高分解能幻覚顔交換法を提案する。
我々は、ジェネレータの進行的な性質を利用して、潜在意味論を明示的に解き放つ。
我々は,2時間制約を潜時空間と画像空間に課すことにより,映像面スワップに拡張する。
論文 参考訳(メタデータ) (2022-03-30T00:33:08Z) - SuperFront: From Low-resolution to High-resolution Frontal Face
Synthesis [65.35922024067551]
本稿では,前頭前頭部を保存した高品質なアイデンティティを生成できるGANモデルを提案する。
具体的には,高分解能(HR)面を1対多のLR面から様々なポーズで合成するSuperFront-GANを提案する。
超高解像度のサイドビューモジュールをSF-GANに統合し、人事空間におけるアイデンティティ情報とサイドビューの詳細を保存します。
論文 参考訳(メタデータ) (2020-12-07T23:30:28Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳(メタデータ) (2020-05-18T18:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。