論文の概要: In-Domain GAN Inversion for Faithful Reconstruction and Editability

• arxiv url: http://arxiv.org/abs/2309.13956v1
• Date: Mon, 25 Sep 2023 08:42:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 16:31:33.247138
• Title: In-Domain GAN Inversion for Faithful Reconstruction and Editability
• Title（参考訳）: 忠実な再構成と編集性のためのドメイン内GANインバージョン
• Authors: Jiapeng Zhu, Yujun Shen, Yinghao Xu, Deli Zhao, Qifeng Chen, Bolei Zhou
• Abstract要約: ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
• 参考スコア（独自算出の注目度）: 132.68255553099834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) have significantly advanced image synthesis through mapping randomly sampled latent codes to high-fidelity synthesized images. However, applying well-trained GANs to real image editing remains challenging. A common solution is to find an approximate latent code that can adequately recover the input image to edit, which is also known as GAN inversion. To invert a GAN model, prior works typically focus on reconstructing the target image at the pixel level, yet few studies are conducted on whether the inverted result can well support manipulation at the semantic level. This work fills in this gap by proposing in-domain GAN inversion, which consists of a domain-guided encoder and a domain-regularized optimizer, to regularize the inverted code in the native latent space of the pre-trained GAN model. In this way, we manage to sufficiently reuse the knowledge learned by GANs for image reconstruction, facilitating a wide range of editing applications without any retraining. We further make comprehensive analyses on the effects of the encoder structure, the starting inversion point, as well as the inversion parameter space, and observe the trade-off between the reconstruction quality and the editing property. Such a trade-off sheds light on how a GAN model represents an image with various semantics encoded in the learned latent distribution. Code, models, and demo are available at the project page: https://genforce.github.io/idinvert/.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)は、ランダムにサンプリングされた潜在符号を高忠実な合成画像にマッピングすることで、画像合成を著しく進歩させる。 しかし、よく訓練されたGANを実際の画像編集に適用することは依然として困難である。 一般的な解決策は、入力画像を適切に復元して編集できる近似潜在コードを見つけることである。 GANモデルを逆転させるには、通常、画素レベルでのターゲット画像の再構成に焦点をあてるが、反転した結果が意味レベルでの操作をうまく支援できるかどうかについてはほとんど研究されていない。 この作業は、ドメイン誘導エンコーダとドメイン正規化オプティマイザからなるドメイン内GANインバージョンを提案し、事前訓練されたGANモデルのネイティブ潜在空間における反転コードを正規化することで、このギャップを埋める。 このようにして、画像再構成のためにGANが学んだ知識を十分に再利用し、リトレーニングなしに広範囲の編集アプリケーションを容易にする。 さらに,エンコーダ構造,開始反転点,反転パラメータ空間の影響を包括的に解析し,復元品質と編集特性とのトレードオフを観察した。 このようなトレードオフは、学習された潜伏分布に符号化された様々なセマンティクスで、GANモデルがどのようにイメージを表現するかを示す。 コード、モデル、デモはプロジェクトのページで公開されている。

関連論文リスト

• High-Fidelity Image Inpainting with GAN Inversion [23.49170140410603]
  本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。 エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。 忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
  論文  参考訳（メタデータ） (2022-08-25T03:39:24Z)
• Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability [76.6724135757723]
  GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。 GANの逆転の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを軽減するための課題は残されている。 本稿では、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像を正確にピボットコードにマッピングできるようにジェネレータを変更する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-07-19T16:10:16Z)
• Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
  本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。 生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。 また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
  論文  参考訳（メタデータ） (2022-07-17T10:34:58Z)
• High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
  本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:23:48Z)
• GAN Inversion for Out-of-Range Images with Geometric Transformations [22.914126221037222]
  我々は、アウト・オブ・レンジ画像のセマンティック編集のための新しいGAN変換手法であるBDInvertを提案する。 実験の結果,BDInvertは幾何学的変換によるアウト・オブ・レンジ画像のセマンティックな編集を効果的にサポートすることがわかった。
  論文  参考訳（メタデータ） (2021-08-20T04:38:40Z)
• Force-in-domain GAN inversion [0.0]
  画像生成の訓練を受けると、GAN(Generative Adversarial Networks)の潜在領域に様々な意味が現れる。 ドメイン内GANインバージョンアプローチは、最近、潜伏空間内の逆コードを制限するために提案されている。 本稿では,ドメイン内GANに基づくフォースインドメインGANを提案する。
  論文  参考訳（メタデータ） (2021-07-13T13:03:53Z)
• GAN Inversion: A Survey [125.62848237531945]
  GANインバージョンは、与えられたイメージを事前に訓練されたGANモデルの潜在空間に戻すことを目的としている。 GANインバージョンは、StyleGANやBigGANなどの事前トレーニングされたGANモデルを実際の画像編集アプリケーションに使用できるようにする上で重要な役割を果たします。
  論文  参考訳（メタデータ） (2021-01-14T14:11:00Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)
• Toward a Controllable Disentanglement Network [22.968760397814993]
  本稿では, 画像編集における歪みの程度を制御し, 歪み強度と復元品質のバランスをとることにより, 歪み画像表現を学習する2つの重要な問題に対処する。 ソフトターゲット表現の実際の値空間を探索することにより、指定された特性を持つ新規な画像を合成することができる。
  論文  参考訳（メタデータ） (2020-01-22T16:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。