論文の概要: InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs
- arxiv url: http://arxiv.org/abs/2005.09635v2
- Date: Thu, 29 Oct 2020 08:36:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 23:31:44.985574
- Title: InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs
- Title（参考訳）: InterFaceGAN: GANsが学習した不整形顔表現の解釈
- Authors: Yujun Shen, Ceyuan Yang, Xiaoou Tang, Bolei Zhou
- Abstract要約: 我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
- 参考スコア（独自算出の注目度）: 73.27299786083424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although Generative Adversarial Networks (GANs) have made significant
progress in face synthesis, there lacks enough understanding of what GANs have
learned in the latent representation to map a random code to a photo-realistic
image. In this work, we propose a framework called InterFaceGAN to interpret
the disentangled face representation learned by the state-of-the-art GAN models
and study the properties of the facial semantics encoded in the latent space.
We first find that GANs learn various semantics in some linear subspaces of the
latent space. After identifying these subspaces, we can realistically
manipulate the corresponding facial attributes without retraining the model. We
then conduct a detailed study on the correlation between different semantics
and manage to better disentangle them via subspace projection, resulting in
more precise control of the attribute manipulation. Besides manipulating the
gender, age, expression, and presence of eyeglasses, we can even alter the face
pose and fix the artifacts accidentally made by GANs. Furthermore, we perform
an in-depth face identity analysis and a layer-wise analysis to evaluate the
editing results quantitatively. Finally, we apply our approach to real face
editing by employing GAN inversion approaches and explicitly training
feed-forward models based on the synthetic data established by InterFaceGAN.
Extensive experimental results suggest that learning to synthesize faces
spontaneously brings a disentangled and controllable face representation.
- Abstract（参考訳）: generative adversarial networks (gans) は顔合成において大きな進歩を遂げているが、ganが潜在表現で学んだことを十分に理解せず、ランダムなコードをフォトリアリスティックな画像にマッピングしている。
本研究では,現在最先端のGANモデルで学習されている不整合顔表現を解釈するInterFaceGANというフレームワークを提案し,潜在空間で符号化された顔意味論の特性について検討する。
まず、ganは潜在空間のある線型部分空間で様々な意味を学習する。
これらの部分空間を識別した後、モデルを再トレーニングすることなく、対応する顔属性を現実的に操作できる。
次に、異なる意味論間の相関に関する詳細な研究を行い、サブスペース射影を通してそれらをよりうまく分離し、属性操作をより正確に制御する。
メガネの性別、年齢、表情、存在を操作できるだけでなく、顔のポーズを変え、ガンが誤って作った人工物を修正することもできる。
さらに,詳細な顔識別分析と層別分析を行い,編集結果の定量的評価を行った。
最後に,本手法を実顔編集に適用し,InterFaceGANが確立した合成データに基づいて,GAN逆変換手法とフィードフォワードモデルを明示的に訓練する。
広範囲な実験結果から, 顔の合成を自発的に行うと, 不連続で制御可能な顔表現が得られることが示唆された。
関連論文リスト
- GaFET: Learning Geometry-aware Facial Expression Translation from
In-The-Wild Images [55.431697263581626]
本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。
我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
論文 参考訳（メタデータ） (2023-08-07T09:03:35Z) - ExFaceGAN: Exploring Identity Directions in GAN's Learned Latent Space
for Synthetic Identity Generation [16.494722503803196]
本稿では,事前学習したGANの潜在空間における識別情報をアンタングル化するフレームワークであるExFaceGANを提案する。
境界の両側からサンプリングすることで、ExFaceGANは複数の合成アイデンティティのサンプルを生成することができる。
例えば、ExFaceGANが生成したデータが顔認識モデルのトレーニングに有効であることを実証的に証明する。
論文 参考訳（メタデータ） (2023-07-11T10:14:41Z) - Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。
具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。
推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
論文 参考訳（メタデータ） (2023-01-20T07:36:29Z) - Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。
提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
論文 参考訳（メタデータ） (2022-12-02T21:39:26Z) - Detecting High-Quality GAN-Generated Face Images using Neural Networks [23.388645531702597]
本稿では,スペクトル帯域差を利用したGAN生成画像と実画像との区別手法を提案する。
特に,クロスバンド共起行列と空間共起行列を用いて,顔画像のデジタル保存を可能にする。
性能向上は特に重要であり、異なる後処理環境において92%以上を達成することを示す。
論文 参考訳（メタデータ） (2022-03-03T13:53:27Z) - Synthesizing Human Faces using Latent Space Factorization and Local
Weights (Extended Version) [24.888957468547744]
提案したモデルは、顔メッシュ全体を学習しながら、顔の部分的な操作を可能にする。
顔全体の潜在空間を、顔の異なる部分を示す部分空間に分解する。
論文 参考訳（メタデータ） (2021-07-19T10:17:30Z) - Heterogeneous Face Frontalization via Domain Agnostic Learning [74.86585699909459]
本研究では, 視覚領域における正面視を, ポーズのバリエーションで合成できるドメイン非依存学習型生成逆数ネットワーク(DAL-GAN)を提案する。
DAL-GANは、補助分類器を備えたジェネレータと、より優れた合成のために局所的およびグローバルなテクスチャ識別をキャプチャする2つの識別器から構成される。
論文 参考訳（メタデータ） (2021-07-17T20:41:41Z) - LARNet: Lie Algebra Residual Network for Profile Face Recognition [5.968418413932049]
畳み込みニューラルネットワーク(CNN)の深部特徴生成過程に3次元空間における顔の回転がどう影響するかを,リー代数理論を用いた新しい手法を提案する。
画像空間における顔の回転は、回転によってのみ決定されるCNNの特徴空間における付加残留成分と等価であることが証明される。
LARNetの設計は、入力された顔画像から回転情報を復号するための残差と、特徴学習プロセスに寄与する残差成分数を制御するための学習回転度とから構成される。
論文 参考訳（メタデータ） (2021-03-15T05:44:54Z) - Disentangled and Controllable Face Image Generation via 3D
Imitative-Contrastive Learning [43.53235319568048]
本研究では,不整合かつ正確に制御可能な潜伏表現を持つ仮想人物の顔画像生成手法であるDiscoFaceGANを提案する。
解析的3次元顔の変形・描画過程のイメージ形成を模倣するために,3次元前処理を逆学習に組み込んでネットワークを訓練する。
論文 参考訳（メタデータ） (2020-04-24T11:21:13Z) - DotFAN: A Domain-transferred Face Augmentation Network for Pose and
Illumination Invariant Face Recognition [94.96686189033869]
本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。
DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。
実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
論文 参考訳（メタデータ） (2020-02-23T08:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。