論文の概要: Towards Disentangling Latent Space for Unsupervised Semantic Face
Editing
- arxiv url: http://arxiv.org/abs/2011.02638v2
- Date: Mon, 19 Jul 2021 01:21:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 12:07:47.401433
- Title: Towards Disentangling Latent Space for Unsupervised Semantic Face
Editing
- Title（参考訳）: 非教師付きセマンティック顔編集のための潜在空間の分散化に向けて
- Authors: Kanglin Liu and Gaofeng Cao and Fei Zhou and Bozhi Liu and Jiang Duan
and Guoping Qiu
- Abstract要約: 修正属性の編集には注釈付きトレーニングデータが必要で、編集可能な属性をラベル付き属性に制限する。
本稿では、重み分解と直交正規化(STIA-WO)を用いた構造テクスチュア独立アーキテクチャ(Structure-Texture Independent Architecture)と呼ばれる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 21.190437168936764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial attributes in StyleGAN generated images are entangled in the latent
space which makes it very difficult to independently control a specific
attribute without affecting the others. Supervised attribute editing requires
annotated training data which is difficult to obtain and limits the editable
attributes to those with labels. Therefore, unsupervised attribute editing in
an disentangled latent space is key to performing neat and versatile semantic
face editing. In this paper, we present a new technique termed
Structure-Texture Independent Architecture with Weight Decomposition and
Orthogonal Regularization (STIA-WO) to disentangle the latent space for
unsupervised semantic face editing. By applying STIA-WO to GAN, we have
developed a StyleGAN termed STGAN-WO which performs weight decomposition
through utilizing the style vector to construct a fully controllable weight
matrix to regulate image synthesis, and employs orthogonal regularization to
ensure each entry of the style vector only controls one independent feature
matrix. To further disentangle the facial attributes, STGAN-WO introduces a
structure-texture independent architecture which utilizes two independently and
identically distributed (i.i.d.) latent vectors to control the synthesis of the
texture and structure components in a disentangled way. Unsupervised semantic
editing is achieved by moving the latent code in the coarse layers along its
orthogonal directions to change texture related attributes or changing the
latent code in the fine layers to manipulate structure related ones. We present
experimental results which show that our new STGAN-WO can achieve better
attribute editing than state of the art methods.
- Abstract（参考訳）: StyleGAN生成画像の顔属性は潜時空間に絡み合っており、他の画像に影響を与えずに特定の属性を独立に制御することが非常に困難である。
修正属性の編集には注釈付きトレーニングデータが必要で、編集可能な属性をラベル付き属性に制限する。
したがって、不整合潜在空間における教師なし属性編集は、巧妙で汎用的なセマンティックフェイス編集を行うための鍵となる。
本稿では、重み分解と直交正規化(STIA-WO)を用いた構造テクスチュア独立アーキテクチャ(Structure-Texture Independent Architecture)と呼ばれる新しい手法を提案する。
stia-woをganに適用することにより、スタイルベクトルを利用して完全に制御可能な重み行列を構築し、画像合成を制御し、スタイルベクトルの各エントリが独立した特徴行列のみを制御するように直交正則化を用いて、重量分解を行うスタイルガンであるstgan-woを開発した。
stgan-woは、顔の属性をより分離するために、2つの独立かつ同一の分散(すなわちd)潜在ベクターを用いて、テクスチャと構造コンポーネントの合成を制御する構造テクスチャ独立アーキテクチャを導入する。
教師なしセマンティック編集は、粗い層内の潜伏コードをその直交方向に沿って移動させ、テクスチャ関連属性を変更したり、微細層内の潜伏コードを変更して構造関連コードを操作することで実現される。
本稿では,新しいstgan-woがartメソッドの状態よりも優れた属性編集を実現することを示す実験結果を示す。
関連論文リスト
- A Compact and Semantic Latent Space for Disentangled and Controllable
Image Editing [4.8201607588546]
本稿では,StyleGANの潜在空間を再編成するオートエンコーダを提案する。
提案手法は,同一性に関して元の画像に対する忠実さを維持しつつ,競合する手法よりも不整合性が高いことを示す。
論文 参考訳（メタデータ） (2023-12-13T16:18:45Z) - SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space [16.040942072859075]
ある属性の編集方向に従う遺伝子ネットワークは、他の属性と絡み合った変更をもたらす可能性がある。
本稿では,低密度の潜伏コードサンプルを元の潜伏空間に再プロジェクションすることで,SC$2$GANのアンタングル化を実現する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-10T14:42:32Z) - Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。
具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。
推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
論文 参考訳（メタデータ） (2023-01-20T07:36:29Z) - Face Attribute Editing with Disentangled Latent Vectors [0.0]
顔属性編集のための画像から画像への変換フレームワークを提案する。
固定事前学習されたGANの潜在空間因子化作業にインスパイアされ、潜在空間因子化による属性編集を設計する。
意味的に整理された潜在空間に画像を投影するために,注意に基づくスキップ接続を備えたエンコーダデコーダアーキテクチャを構築した。
論文 参考訳（メタデータ） (2023-01-11T18:32:13Z) - Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。
提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
論文 参考訳（メタデータ） (2022-12-02T21:39:26Z) - Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。
生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。
また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
論文 参考訳（メタデータ） (2022-07-17T10:34:58Z) - VecGAN: Image-to-Image Translation with Interpretable Latent Directions [4.7590051176368915]
VecGANは、画像から画像への変換フレームワークで、顔属性を解釈可能な潜在方向で編集する。
VecGANは、ローカルとグローバルの両方の編集の最先端よりも大幅に改善されている。
論文 参考訳（メタデータ） (2022-07-07T16:31:05Z) - CLIP2StyleGAN: Unsupervised Extraction of StyleGAN Edit Directions [65.00528970576401]
StyleGANは、合成画像と実画像の両方において、前例のないセマンティック編集機能を実現している。
興味あるCLIP方向を見つけるためのブロックと、CLIP潜在空間における任意の方向を示すブロックを提案する。
提案手法の有効性を評価し,不整合ラベル付きStyleGAN編集方向の抽出が実際に可能であることを示す。
論文 参考訳（メタデータ） (2021-12-09T21:26:03Z) - Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing,
using Few Synthetic Samples [2.348633570886661]
本稿では,事前学習したGANの潜伏空間において,任意の属性を制御できる新しい手法を提案する。
我々は最小限のサンプルを頼りにSim2Real学習を行い、連続的な正確な編集を無制限に行う。
論文 参考訳（メタデータ） (2021-11-16T12:42:04Z) - EigenGAN: Layer-Wise Eigen-Learning for GANs [84.33920839885619]
EigenGANは、異なる発電機層から解釈可能で制御可能な寸法を無監督にマイニングすることができます。
特定の固有次元の係数をトラバースすることで、ジェネレータは特定の意味属性に対応する連続的な変化を伴うサンプルを生成することができる。
論文 参考訳（メタデータ） (2021-04-26T11:14:37Z) - PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。
トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。
アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
論文 参考訳（メタデータ） (2020-09-20T17:53:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。