論文の概要: High-Fidelity Image Inpainting with GAN Inversion

• arxiv url: http://arxiv.org/abs/2208.11850v1
• Date: Thu, 25 Aug 2022 03:39:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-26 13:32:55.628290
• Title: High-Fidelity Image Inpainting with GAN Inversion
• Title（参考訳）: GANインバージョンによる高忠実像のインペイント
• Authors: Yongsheng Yu and Libo Zhang and Heng Fan and Tiejian Luo
• Abstract要約: 本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。 エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。 忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
• 参考スコア（独自算出の注目度）: 23.49170140410603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image inpainting seeks a semantically consistent way to recover the corrupted image in the light of its unmasked content. Previous approaches usually reuse the well-trained GAN as effective prior to generate realistic patches for missing holes with GAN inversion. Nevertheless, the ignorance of a hard constraint in these algorithms may yield the gap between GAN inversion and image inpainting. Addressing this problem, in this paper, we devise a novel GAN inversion model for image inpainting, dubbed InvertFill, mainly consisting of an encoder with a pre-modulation module and a GAN generator with F&W+ latent space. Within the encoder, the pre-modulation network leverages multi-scale structures to encode more discriminative semantics into style vectors. In order to bridge the gap between GAN inversion and image inpainting, F&W+ latent space is proposed to eliminate glaring color discrepancy and semantic inconsistency. To reconstruct faithful and photorealistic images, a simple yet effective Soft-update Mean Latent module is designed to capture more diverse in-domain patterns that synthesize high-fidelity textures for large corruptions. Comprehensive experiments on four challenging datasets, including Places2, CelebA-HQ, MetFaces, and Scenery, demonstrate that our InvertFill outperforms the advanced approaches qualitatively and quantitatively and supports the completion of out-of-domain images well.
• Abstract（参考訳）: image inpaintingは、意図的に一貫性のある方法で、未表示のコンテンツに照らして、腐敗した画像を復元する。 従来のアプローチでは、よく訓練されたGANを有効に再利用し、GAN逆転による行方不明穴に対する現実的なパッチを生成する。 それでも、これらのアルゴリズムにおける厳密な制約の無知は、gan反転と画像インパインティングの間のギャップをもたらす可能性がある。 本稿では,前変調モジュールを有するエンコーダと,f&w+潜在空間を持つgan生成器を主成分とする,インバートフィルと呼ばれる画像インパインティングのための新しいganインバージョンモデルを考案する。 エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。 GANインバージョンと画像インペインティングのギャップを埋めるために,色差や意味的矛盾を解消するためにF&W+遅延空間を提案する。 忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成するより多様なドメイン内パターンをキャプチャするように設計されている。 Places2、CelebA-HQ、MetFaces、Sceneryを含む4つの挑戦的なデータセットに関する総合的な実験は、InvertFillが高度なアプローチを質的かつ定量的に上回り、ドメイン外の画像の補完もサポートしていることを示す。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Diverse Inpainting and Editing with GAN Inversion [4.234367850767171]
  近年の逆転法では、実画像はStyleGANの潜伏空間に逆転可能であることが示されている。 本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。
  論文  参考訳（メタデータ） (2023-07-27T17:41:36Z)
• CM-GAN: Image Inpainting with Cascaded Modulation GAN and Object-Aware Training [112.96224800952724]
  複雑な画像に大きな穴をあける際の可視像構造を生成するためのカスケード変調GAN(CM-GAN)を提案する。 各デコーダブロックにおいて、まず大域変調を適用し、粗い意味認識合成構造を行い、次に大域変調の出力に空間変調を適用し、空間適応的に特徴写像を更に調整する。 さらに,ネットワークがホール内の新たな物体を幻覚させるのを防ぐため,実世界のシナリオにおける物体除去タスクのニーズを満たすために,オブジェクト認識型トレーニングスキームを設計する。
  論文  参考訳（メタデータ） (2022-03-22T16:13:27Z)
• Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
  画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。 エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。 本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-29T14:46:05Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。