論文の概要: High Resolution Face Editing with Masked GAN Latent Code Optimization
- arxiv url: http://arxiv.org/abs/2103.11135v1
- Date: Sat, 20 Mar 2021 08:39:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 04:08:11.443439
- Title: High Resolution Face Editing with Masked GAN Latent Code Optimization
- Title（参考訳）: Masked GAN遅延符号最適化による高分解能顔編集
- Authors: Martin Pernu\v{s}, Vitomir \v{S}truc, Simon Dobri\v{s}ek
- Abstract要約: 顔の編集はコンピュータビジョンコミュニティで人気のある研究トピックである。
最近の提案手法は、条件付きエンコーダデコーダであるGAN(Generative Adversarial Network)をエンドツーエンドでトレーニングするか、事前に訓練されたバニラGANジェネレータモデルの潜時空間での動作を定義するかのいずれかである。
空間的および意味的制約を伴ったGAN組み込み最適化手順を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Face editing is a popular research topic in the computer vision community
that aims to edit a specific characteristic of a face image. Recent proposed
methods are based on either training a conditional encoder-decoder Generative
Adversarial Network (GAN) in an end-to-end fashion or on defining an operation
in the latent space of a pre-trained vanilla GAN generator model. However,
these methods exhibit a certain degree of visual degradation and lack
disentanglement properties in the edited images. Moreover, they usually operate
on lower image resolution. In this paper, we propose a GAN embedding
optimization procedure with spatial and semantic constraints. We optimize a
latent code of a GAN, pre-trained on face dataset, to embed a fixed region of
the image, while imposing constraints on the inpainted regions with face
parsing and attribute classification networks. By latent code optimization, we
constrain the result to follow an image probability distribution, as defined by
the GAN model. We use such framework to produce high image quality face edits.
Due to the spatial constraints introduced, the edited images exhibit higher
degree of disentanglement between the desired facial attributes and the rest of
the image than other methods. The approach is validated in experiments on three
datasets and in comparison with four state-of-the-art approaches. The results
demonstrate that the proposed approach is able to edit face images with respect
to several facial attributes with unprecedented image quality, while
disentangling the undesired factors of variation. Code will be made available.
- Abstract（参考訳）: 顔編集は、顔画像の特定の特徴を編集することを目的としたコンピュータビジョンコミュニティで人気のある研究トピックである。
最近の提案手法は、条件付きエンコーダ・デコーダ生成逆ネットワーク(gan)をエンドツーエンドで訓練するか、事前訓練されたバニラgan生成モデルの潜在空間での演算を定義するかに基づいている。
しかし、これらの手法はある程度の視覚的劣化を示し、編集画像の絡み合い特性を欠いている。
さらに、通常は低解像度で動作します。
本稿では空間的および意味的制約を伴うgan埋め込み最適化手法を提案する。
顔データセットで事前トレーニングされたganの潜在コードを最適化して、画像の固定領域を埋め込むとともに、顔解析と属性分類ネットワークを用いて、塗装された領域に制約を課す。
潜在コード最適化により、ganモデルによって定義された画像確率分布に従う結果に制約を与える。
このようなフレームワークを用いて、高品質な顔編集を行う。
導入された空間的制約により、編集された画像は他の方法よりも所望の表情属性と残りの画像との連接度が高い。
このアプローチは、3つのデータセットの実験で検証され、4つの最先端アプローチと比較される。
その結果, 提案手法は, 前例のない画質で複数の顔属性に対して顔画像の編集が可能であり, 望ましくない変動要因を否定できることがわかった。
コードは利用可能になる。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - CODE: Confident Ordinary Differential Editing [62.83365660727034]
CODE(Confident Ordinary Differential Editing)は、OoD(Out-of-Distribution)ガイダンスイメージを効果的に処理する画像合成のための新しいアプローチである。
CODEは、確率フロー正規微分方程式(ODE)軌道に沿ったスコアベースの更新によって画像を強化する。
本手法は完全に盲目的に動作し,事前学習した生成モデルにのみ依存する。
論文 参考訳（メタデータ） (2024-08-22T14:12:20Z) - Optimal-Landmark-Guided Image Blending for Face Morphing Attacks [8.024953195407502]
本稿では,最適なランドマーク誘導画像ブレンディングを用いた顔形態形成攻撃を行うための新しい手法を提案する。
提案手法は, ランドマークの最適化とグラフ畳み込みネットワーク(GCN)によるランドマークと外観特徴の組み合わせにより, 従来のアプローチの限界を克服する。
論文 参考訳（メタデータ） (2024-01-30T03:45:06Z) - DreamIdentity: Improved Editability for Efficient Face-identity
Preserved Image Generation [69.16517915592063]
人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。
また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。
我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
論文 参考訳（メタデータ） (2023-07-01T11:01:17Z) - Conditioning Diffusion Models via Attributes and Semantic Masks for Face
Generation [1.104121146441257]
深層生成モデルは、現実的な顔の画像を生成する素晴らしい結果を示している。
GANはセマンティックマスクで条件付きで高品質で高忠実な画像を生成することができたが、それでも出力を多様化する能力は欠けていた。
本稿では,属性とセマンティックマスクの両方を利用した多条件拡散モデルの提案を行い,高品質で制御可能な顔画像を生成する。
論文 参考訳（メタデータ） (2023-06-01T17:16:37Z) - SARGAN: Spatial Attention-based Residuals for Facial Expression
Manipulation [1.7056768055368383]
本稿では,3つの視点から制限に対処するSARGANという新しい手法を提案する。
我々は対称エンコーダ・デコーダネットワークを利用して顔の特徴に複数スケールで対応した。
提案手法は最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-03-30T08:15:18Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳（メタデータ） (2023-03-07T19:16:20Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z) - S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。
我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。
提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-11-30T13:42:39Z) - Style Intervention: How to Achieve Spatial Disentanglement with
Style-based Generators? [100.60938767993088]
任意の入力画像に適応し、フレキシブルな目的の下で自然な翻訳効果をレンダリングできる軽量な最適化アルゴリズムを提案する。
フォトリアリズムと一貫性の両方を必要とする高解像度画像の顔属性編集において,提案するフレームワークの性能を検証する。
論文 参考訳（メタデータ） (2020-11-19T07:37:31Z) - MagGAN: High-Resolution Face Attribute Editing with Mask-Guided
Generative Adversarial Network [145.4591079418917]
MagGANは、望ましい属性変更に関連する顔の部分のみを編集することを学ぶ。
各属性変更の影響領域をジェネレータに組み込むために、新しいマスク誘導条件付け戦略を導入する。
高解像度(1024×1024$)の顔編集のために,マルチレベルパッチワイド識別器構造を提案する。
論文 参考訳（メタデータ） (2020-10-03T20:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。