論文の概要: In-Domain GAN Inversion for Real Image Editing

• arxiv url: http://arxiv.org/abs/2004.00049v3
• Date: Thu, 16 Jul 2020 09:47:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 01:32:49.438093
• Title: In-Domain GAN Inversion for Real Image Editing
• Title（参考訳）: 実画像編集のためのドメイン内GANインバージョン
• Authors: Jiapeng Zhu, Yujun Shen, Deli Zhao, Bolei Zhou
• Abstract要約: トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
• 参考スコア（独自算出の注目度）: 56.924323432048304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that a variety of semantics emerge in the latent space of Generative Adversarial Networks (GANs) when being trained to synthesize images. However, it is difficult to use these learned semantics for real image editing. A common practice of feeding a real image to a trained GAN generator is to invert it back to a latent code. However, existing inversion methods typically focus on reconstructing the target image by pixel values yet fail to land the inverted code in the semantic domain of the original latent space. As a result, the reconstructed image cannot well support semantic editing through varying the inverted code. To solve this problem, we propose an in-domain GAN inversion approach, which not only faithfully reconstructs the input image but also ensures the inverted code to be semantically meaningful for editing. We first learn a novel domain-guided encoder to project a given image to the native latent space of GANs. We then propose domain-regularized optimization by involving the encoder as a regularizer to fine-tune the code produced by the encoder and better recover the target image. Extensive experiments suggest that our inversion method achieves satisfying real image reconstruction and more importantly facilitates various image editing tasks, significantly outperforming start-of-the-arts.
• Abstract（参考訳）: 最近の研究は、画像合成の訓練を受けた際に、GAN(Generative Adversarial Networks)の潜在領域に様々な意味が現れることを示している。 しかし、これらの学習した意味論を実際の画像編集に使用するのは困難である。 トレーニングされたGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 しかし、既存の反転法は通常、画素値によるターゲット画像の再構成に重点を置いているが、反転したコードは元の潜在空間のセマンティックドメインに着陸できない。 その結果、再構成された画像は、反転コードの変更による意味編集を十分にサポートできない。 そこで本研究では,入力画像を忠実に再構成するだけでなく,その逆コードを意味的に編集に意味のあるものにすることを保証する,ドメイン内gan逆変換手法を提案する。 まずドメイン誘導型エンコーダを学習し、与えられた画像をGANのネイティブ潜在空間に投影する。 次に、エンコーダが生成するコードを微調整し、ターゲット画像をより良く復元するために、エンコーダをレギュレータとして含むことにより、ドメインレギュラライズ最適化を提案する。 広範にわたる実験により,本手法は実際の画像再構成を満足し,さらに重要な画像編集作業を促進することが示唆された。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Gradient Adjusting Networks for Domain Inversion [82.72289618025084]
  StyleGAN2はセマンティック編集をサポートする強力な画像生成エンジンであることが実証された。 本稿では,画像毎の最適化手法を提案する。この手法は,生成元の重みを局所的に編集できるように,StyleGAN2ジェネレータをチューニングする。 我々の実験は、この非常にアクティブな領域における最先端技術よりも大きなパフォーマンス差を示している。
  論文  参考訳（メタデータ） (2023-02-22T14:47:57Z)
• High-Fidelity Image Inpainting with GAN Inversion [23.49170140410603]
  本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。 エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。 忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
  論文  参考訳（メタデータ） (2022-08-25T03:39:24Z)
• FlexIT: Towards Flexible Semantic Image Translation [59.09398209706869]
  我々は,任意の入力画像とユーザが定義したテキストを編集するための新しい方法であるFlexITを提案する。 まず、FlexITは入力画像とテキストをCLIPマルチモーダル埋め込み空間内の単一のターゲットポイントに結合する。 我々は、入力画像を目標点に向けて反復的に変換し、新しい正規化用語で一貫性と品質を確保する。
  論文  参考訳（メタデータ） (2022-03-09T13:34:38Z)
• GAN Inversion for Out-of-Range Images with Geometric Transformations [22.914126221037222]
  我々は、アウト・オブ・レンジ画像のセマンティック編集のための新しいGAN変換手法であるBDInvertを提案する。 実験の結果,BDInvertは幾何学的変換によるアウト・オブ・レンジ画像のセマンティックな編集を効果的にサポートすることがわかった。
  論文  参考訳（メタデータ） (2021-08-20T04:38:40Z)
• Force-in-domain GAN inversion [0.0]
  画像生成の訓練を受けると、GAN(Generative Adversarial Networks)の潜在領域に様々な意味が現れる。 ドメイン内GANインバージョンアプローチは、最近、潜伏空間内の逆コードを制限するために提案されている。 本稿では,ドメイン内GANに基づくフォースインドメインGANを提案する。
  論文  参考訳（メタデータ） (2021-07-13T13:03:53Z)
• Designing an Encoder for StyleGAN Image Manipulation [38.909059126878354]
  最先端の無条件発電機であるStyleGANの潜伏空間について検討する。 そこで我々は,StyleGAN潜在空間における歪み依存性トレードオフと歪み知覚トレードオフの存在を同定し,解析する。 本稿では,実画像の編集を容易にするための2つの原理に基づくエンコーダを提案する。
  論文  参考訳（メタデータ） (2021-02-04T17:52:38Z)
• Image-to-image Mapping with Many Domains by Sparse Attribute Transfer [71.28847881318013]
  教師なし画像と画像の変換は、2つの領域間の一対のマッピングを、ポイント間の既知のペアワイズ対応なしで学習することで構成される。 現在の慣例は、サイクル一貫性のあるGANでこのタスクにアプローチすることです。 そこで本研究では,ジェネレータを直接,潜在層における単純なスパース変換に制限する代替手法を提案する。
  論文  参考訳（メタデータ） (2020-06-23T19:52:23Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。