論文の概要: High-Resolution GAN Inversion for Degraded Images in Large Diverse Datasets

• arxiv url: http://arxiv.org/abs/2302.03406v1
• Date: Tue, 7 Feb 2023 11:24:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 16:33:13.064473
• Title: High-Resolution GAN Inversion for Degraded Images in Large Diverse Datasets
• Title（参考訳）: 大規模ディバースデータセットにおける劣化画像に対する高分解能GANインバージョン
• Authors: Yanbo Wang, Chuming Lin, Donghao Luo, Ying Tai, Zhizhong Zhang, Yuan Xie
• Abstract要約: 本稿では,StyleGAN-XLの強力な生成能力を利用した新しいGANインバージョンフレームワークを提案する。 StyleGAN-XLによる逆問題を軽減するために、Clustering & Regularize Inversion (CRI)を提案する。 我々は、複雑な自然画像の複数の復元作業(例えば、塗装、着色、超解像)において、CRI方式を検証し、定量的および定性的な結果を示す。
• 参考スコア（独自算出の注目度）: 39.21692649763314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The last decades are marked by massive and diverse image data, which shows increasingly high resolution and quality. However, some images we obtained may be corrupted, affecting the perception and the application of downstream tasks. A generic method for generating a high-quality image from the degraded one is in demand. In this paper, we present a novel GAN inversion framework that utilizes the powerful generative ability of StyleGAN-XL for this problem. To ease the inversion challenge with StyleGAN-XL, Clustering \& Regularize Inversion (CRI) is proposed. Specifically, the latent space is firstly divided into finer-grained sub-spaces by clustering. Instead of initializing the inversion with the average latent vector, we approximate a centroid latent vector from the clusters, which generates an image close to the input image. Then, an offset with a regularization term is introduced to keep the inverted latent vector within a certain range. We validate our CRI scheme on multiple restoration tasks (i.e., inpainting, colorization, and super-resolution) of complex natural images, and show preferable quantitative and qualitative results. We further demonstrate our technique is robust in terms of data and different GAN models. To our best knowledge, we are the first to adopt StyleGAN-XL for generating high-quality natural images from diverse degraded inputs. Code is available at https://github.com/Booooooooooo/CRI.
• Abstract（参考訳）: 過去数十年は、画像データが多様で多様であり、解像度とクオリティがますます高まっている。 しかし,いくつかの画像は劣化し,下流タスクの知覚や応用に影響を及ぼす可能性がある。 劣化した画像から高品質な画像を生成する汎用的な方法が要求される。 本稿では,StyleGAN-XLの強力な生成能力を利用した新しいGAN変換フレームワークを提案する。 StyleGAN-XLによる逆問題を軽減するために、Clustering \& Regularize Inversion (CRI)を提案する。 具体的には、潜在空間はクラスタリングによってまずよりきめ細かい部分空間に分割される。 平均潜時ベクトルで反転を初期化する代わりに、クラスタからの遠心潜時ベクトルを近似し、入力画像に近い画像を生成する。 そして、反転潜在ベクトルを一定の範囲内に保持するために正規化項付きオフセットを導入する。 複雑な自然画像の複数の復元タスク(インパインティング,カラー化,スーパーレゾリューション)におけるcriスキームを検証するとともに,定量的・定性的な結果を示す。 さらに、データと異なるGANモデルの観点から、我々の技術が堅牢であることを示す。 我々の知る限り、我々は様々な劣化した入力から高品質な自然画像を生成するために初めてStyleGAN-XLを採用した。 コードはhttps://github.com/Booooooooo/CRIで入手できる。

関連論文リスト

• Solving General Noisy Inverse Problem via Posterior Sampling: A Policy Gradient Viewpoint [21.22750301965104]
  本研究では,事前学習した拡散生成モデルを用いて,タスク固有モデルによる微調整を伴わずに,幅広い画像逆タスクを解く。 入力画像の誘導スコア関数を正確に推定するために,拡散ポリシー勾配(DPG)を提案する。 実験により,複数の線形および非線形の逆問題に対するガウス雑音とポアソン雑音の両方に対して,本手法は頑健であることが示された。
  論文  参考訳（メタデータ） (2024-03-15T16:38:47Z)
• High-Fidelity Image Inpainting with GAN Inversion [23.49170140410603]
  本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。 エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。 忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
  論文  参考訳（メタデータ） (2022-08-25T03:39:24Z)
• InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
  任意の解像度画像を生成するinfinityganを提案する。 少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
  論文  参考訳（メタデータ） (2021-04-08T17:59:30Z)
• Adversarial Generation of Continuous Images [31.92891885615843]
  本稿では,INRに基づく画像デコーダ構築のための2つの新しいアーキテクチャ手法を提案する。 私たちは、最先端の連続画像GANを構築するためにそれらを使用します。 提案したINR-GANアーキテクチャは連続画像生成装置の性能を数倍改善する。
  論文  参考訳（メタデータ） (2020-11-24T11:06:40Z)
• A Contrastive Learning Approach for Training Variational Autoencoder Priors [137.62674958536712]
  変分オートエンコーダ(VAE)は、多くの領域で応用される強力な可能性に基づく生成モデルの一つである。 VAEsが生成性に乏しいことの1つの説明は、事前の分布が集合の近似的な後部と一致しないという、事前の穴の問題である。 本研究では, 基底分布の積と再重み付け係数によって定義されるエネルギーベースの事前定義を行い, 基底を集合体後部へ近づけるようにした。
  論文  参考訳（メタデータ） (2020-10-06T17:59:02Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。