論文の概要: ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing

• arxiv url: http://arxiv.org/abs/2301.13402v1
• Date: Tue, 31 Jan 2023 04:38:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 17:32:31.694727
• Title: ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing
• Title（参考訳）: ReGANIE: 正確な実画像編集のためのGANインバージョンエラーの修正
• Authors: Bingchuan Li, Tianxiang Ma, Peng Zhang, Miao Hua, Wei Liu, Qian He, Zili Yi
• Abstract要約: StyleGANは、セマンティックリッチな潜在スタイル空間を操作することで、生成した画像の柔軟で妥当な編集を可能にする。 実際の画像をその潜在空間に投影することは、反転品質と編集性の間に固有のトレードオフに遭遇する。 本稿では,2つの異なるネットワークをそれぞれ編集と再構築に用い,新しい2段階のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.39792009151017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The StyleGAN family succeed in high-fidelity image generation and allow for flexible and plausible editing of generated images by manipulating the semantic-rich latent style space.However, projecting a real image into its latent space encounters an inherent trade-off between inversion quality and editability. Existing encoder-based or optimization-based StyleGAN inversion methods attempt to mitigate the trade-off but see limited performance. To fundamentally resolve this problem, we propose a novel two-phase framework by designating two separate networks to tackle editing and reconstruction respectively, instead of balancing the two. Specifically, in Phase I, a W-space-oriented StyleGAN inversion network is trained and used to perform image inversion and editing, which assures the editability but sacrifices reconstruction quality. In Phase II, a carefully designed rectifying network is utilized to rectify the inversion errors and perform ideal reconstruction. Experimental results show that our approach yields near-perfect reconstructions without sacrificing the editability, thus allowing accurate manipulation of real images. Further, we evaluate the performance of our rectifying network, and see great generalizability towards unseen manipulation types and out-of-domain images.
• Abstract（参考訳）: styleganファミリは高忠実な画像生成に成功し、セマンティックリッチな潜在スタイル空間を操作することで、生成した画像の柔軟で信頼性の高い編集を可能にするが、実際の画像をその潜在空間に投影することは、反転品質と編集可能性との間に固有のトレードオフに直面する。 既存のエンコーダベースまたは最適化ベースのStyleGANインバージョン手法はトレードオフを緩和しようとするが、性能は限られている。 この問題を根本的に解決するために,2つの異なるネットワークを2つのネットワークに分割して編集・再構築する手法を提案する。 具体的には、第1段階において、w空間指向のスタイルガン反転ネットワークを訓練し、画像反転および編集に使用し、編集性を確保しつつ、復元品質を犠牲にする。 第2相では、注意深く設計された整流ネットワークを用いて逆誤差を補正し、理想的な再構成を行う。 実験の結果,編集性を犠牲にすることなくほぼ完全な再構成が可能であり,実際の画像の正確な操作が可能であった。 さらに,整流ネットワークの性能評価を行い,非認識操作型やドメイン外画像に対して大きな汎用性を見いだした。

関連論文リスト

• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• Spatial-Contextual Discrepancy Information Compensation for GAN Inversion [67.21442893265973]
  空間的不一致情報補償に基づく新しいGAN-inversion法(SDIC)を提案する。 SDICは、オリジナルの画像と再構成/編集された画像との間の画像詳細のギャップを埋める。 提案手法は,画像インバージョンと編集作業の両方において,高速な推論速度で優れた歪み適応性トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-12-12T08:58:56Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Robust GAN inversion [5.1359892878090845]
  本稿では,ネイティブの潜伏空間を$W$で処理し,画像の詳細を復元するためにジェネレータネットワークをチューニングする手法を提案する。 Flickr-Faces-HQ と LSUN Church の2つの複雑なデータセットに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-08-31T07:47:11Z)
• Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
  本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。 生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。 また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
  論文  参考訳（メタデータ） (2022-07-17T10:34:58Z)
• High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
  本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:23:48Z)
• Designing an Encoder for StyleGAN Image Manipulation [38.909059126878354]
  最先端の無条件発電機であるStyleGANの潜伏空間について検討する。 そこで我々は,StyleGAN潜在空間における歪み依存性トレードオフと歪み知覚トレードオフの存在を同定し,解析する。 本稿では,実画像の編集を容易にするための2つの原理に基づくエンコーダを提案する。
  論文  参考訳（メタデータ） (2021-02-04T17:52:38Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。