論文の概要: Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability

• arxiv url: http://arxiv.org/abs/2207.09367v1
• Date: Tue, 19 Jul 2022 16:10:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 14:08:30.087866
• Title: Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability
• Title（参考訳）: 再構成・編集性向上のためのスタイルGANエンコーダのサイクル符号化
• Authors: Xudong Mao, Liujuan Cao, Aurele T. Gnanha, Zhenguo Yang, Qing Li, Rongrong Ji
• Abstract要約: GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。 GANの逆転の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを軽減するための課題は残されている。 本稿では、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像を正確にピボットコードにマッピングできるようにジェネレータを変更する2段階のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 76.6724135757723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GAN inversion aims to invert an input image into the latent space of a pre-trained GAN. Despite the recent advances in GAN inversion, there remain challenges to mitigate the tradeoff between distortion and editability, i.e. reconstructing the input image accurately and editing the inverted image with a small visual quality drop. The recently proposed pivotal tuning model makes significant progress towards reconstruction and editability, by using a two-step approach that first inverts the input image into a latent code, called pivot code, and then alters the generator so that the input image can be accurately mapped into the pivot code. Here, we show that both reconstruction and editability can be improved by a proper design of the pivot code. We present a simple yet effective method, named cycle encoding, for a high-quality pivot code. The key idea of our method is to progressively train an encoder in varying spaces according to a cycle scheme: W->W+->W. This training methodology preserves the properties of both W and W+ spaces, i.e. high editability of W and low distortion of W+. To further decrease the distortion, we also propose to refine the pivot code with an optimization-based method, where a regularization term is introduced to reduce the degradation in editability. Qualitative and quantitative comparisons to several state-of-the-art methods demonstrate the superiority of our approach.
• Abstract（参考訳）: GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。 GAN変換の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを緩和すること、すなわち入力画像を正確に再構成し、反転した画像を小さな視覚的品質低下で編集することが課題である。 最近提案されたpivotalのチューニングモデルは、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像をピボットコードに正確にマッピングできるようにジェネレータを変更する2段階のアプローチを用いて、再構成と編集性に著しい進歩を遂げている。 本稿では,ピボットコードの適切な設計により,復元性と編集性の両方を向上できることを示す。 高品質なピボット符号に対して、シンプルで効果的なサイクル符号化法を提案する。 提案手法の鍵となる考え方は,W->W+->Wというサイクルスキームに従って,様々な空間でエンコーダを段階的に訓練することである。 この訓練手法は、W と W+ の空間の性質、すなわち W の高編集性および W+ の低歪みを保存している。 さらに歪みの低減を図るため,最適化手法を用いてピボットコードを改良し,正規化項を導入して編集性の向上を図ることを提案する。 いくつかの最先端手法に対する定性的かつ定量的な比較は、我々のアプローチの優位性を示している。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• LSAP: Rethinking Inversion Fidelity, Perception and Editability in GAN Latent Space [42.56147568941768]
  本稿では,正規化スタイル空間と$mathcalSN$ Cosine Distanceを導入し,逆法の不整合を計測する。 提案するSNCDは,エンコーダ方式と最適化方式の両方で最適化可能であり,一様解を実現することができる。
  論文  参考訳（メタデータ） (2022-09-26T14:55:21Z)
• Overparameterization Improves StyleGAN Inversion [66.8300251627992]
  既存の反転アプローチは、有望だが不完全な結果が得られる。 これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。 われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
  論文  参考訳（メタデータ） (2022-05-12T18:42:43Z)
• High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
  本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:23:48Z)
• ReStyle: A Residual-Based StyleGAN Encoder via Iterative Refinement [46.48263482909809]
  本稿では,現在のエンコーダに基づくインバージョン法を拡張する新しいインバージョンスキームを提案する。 ReStyleという名前の残差ベースのエンコーダは、現在の最先端のエンコーダベースの手法と比べて、推論時間の無視できるほど精度が向上する。
  論文  参考訳（メタデータ） (2021-04-06T17:47:13Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。