論文の概要: Spatial-Contextual Discrepancy Information Compensation for GAN Inversion

• arxiv url: http://arxiv.org/abs/2312.07079v1
• Date: Tue, 12 Dec 2023 08:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 16:47:38.480408
• Title: Spatial-Contextual Discrepancy Information Compensation for GAN Inversion
• Title（参考訳）: GANインバージョンのための空間的不一致情報補償
• Authors: Ziqiang Zhang, Yan Yan, Jing-Hao Xue, Hanzi Wang
• Abstract要約: 空間的不一致情報補償に基づく新しいGAN-inversion法(SDIC)を提案する。 SDICは、オリジナルの画像と再構成/編集された画像との間の画像詳細のギャップを埋める。 提案手法は,画像インバージョンと編集作業の両方において,高速な推論速度で優れた歪み適応性トレードオフを実現する。
• 参考スコア（独自算出の注目度）: 67.21442893265973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing GAN inversion methods either achieve accurate reconstruction but lack editability or offer strong editability at the cost of fidelity. Hence, how to balance the distortioneditability trade-off is a significant challenge for GAN inversion. To address this challenge, we introduce a novel spatial-contextual discrepancy information compensationbased GAN-inversion method (SDIC), which consists of a discrepancy information prediction network (DIPN) and a discrepancy information compensation network (DICN). SDIC follows a "compensate-and-edit" paradigm and successfully bridges the gap in image details between the original image and the reconstructed/edited image. On the one hand, DIPN encodes the multi-level spatial-contextual information of the original and initial reconstructed images and then predicts a spatial-contextual guided discrepancy map with two hourglass modules. In this way, a reliable discrepancy map that models the contextual relationship and captures finegrained image details is learned. On the other hand, DICN incorporates the predicted discrepancy information into both the latent code and the GAN generator with different transformations, generating high-quality reconstructed/edited images. This effectively compensates for the loss of image details during GAN inversion. Both quantitative and qualitative experiments demonstrate that our proposed method achieves the excellent distortion-editability trade-off at a fast inference speed for both image inversion and editing tasks.
• Abstract（参考訳）: 既存のganインバージョン手法の多くは正確な再構成を実現するが、編集性に欠けるか、忠実さを犠牲にして強い編集性を提供する。 したがって、歪曲性トレードオフのバランスをとることは、GANの逆転にとって重要な課題である。 そこで,本稿では,dipn(disrepancy information prediction network)とdicn(disrepancy information compensation network)からなる空間的不一致情報補償型ganインバージョン法(sdic)を提案する。 SDIC は "compensate-and-edit" パラダイムに従い、元の画像と再構成/編集された画像の間の画像詳細のギャップを埋めることに成功した。 一方、DIPNは、原画像と初期再構成画像のマルチレベル空間コンテキスト情報を符号化し、2時間ガラスモジュールによる空間コンテキストガイド付き不一致マップを予測する。 このように、文脈関係をモデル化し、細かな画像詳細をキャプチャする信頼できる不一致マップが学習される。 一方、DICNは遅延コードとGANジェネレータの両方に予測誤差情報を異なる変換で組み込んで、高品質な再構成/編集画像を生成する。 これは、gan反転中の画像詳細の損失を効果的に補償する。 定量的および定性的な実験は,画像インバージョンと編集作業の両方において高速な推論速度で,提案手法が優れた歪み適応性トレードオフを実現することを示した。

関連論文リスト

• Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion and Image Attribute Editing [36.01737879983636]
  GANベースの画像編集は、まずGAN Inversionを利用して、実際の画像をGANの潜時空間に投影し、対応する潜時符号を操作する。 近年のインバージョン法は, 画像の保存性を高めるために, 新たな高ビット特徴を主に利用している。 編集中、既存の作業は失われた詳細を正確に補完することができず、編集性に欠ける。
  論文  参考訳（メタデータ） (2024-02-22T09:28:47Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing [20.39792009151017]
  StyleGANは、セマンティックリッチな潜在スタイル空間を操作することで、生成した画像の柔軟で妥当な編集を可能にする。 実際の画像をその潜在空間に投影することは、反転品質と編集性の間に固有のトレードオフに遭遇する。 本稿では,2つの異なるネットワークをそれぞれ編集と再構築に用い,新しい2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-31T04:38:42Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
  本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。 生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。 また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
  論文  参考訳（メタデータ） (2022-07-17T10:34:58Z)
• Dual Perceptual Loss for Single Image Super-Resolution Using ESRGAN [13.335546116599494]
  本稿では,従来の知覚損失を置き換えるためにDP損失(Dual Perceptual Loss)と呼ばれる手法を提案する。 VGG特徴とResNet特徴の相補的な性質のため、提案されたDPロスは2つの特徴を同時に学習する利点を考察する。 ベンチマークデータセットの定性的および定量的解析により,提案手法が最先端の超解像法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-17T12:42:56Z)
• High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
  本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:23:48Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。