論文の概要: Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation

• arxiv url: http://arxiv.org/abs/2003.13659v4
• Date: Mon, 20 Jul 2020 10:06:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 08:30:25.094240
• Title: Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation
• Title（参考訳）: 画像修復とマニピュレーションのための深部生成前処理
• Authors: Xingang Pan, Xiaohang Zhan, Bo Dai, Dahua Lin, Chen Change Loy, Ping Luo
• Abstract要約: 本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
• 参考スコア（独自算出の注目度）: 181.08127307338654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a good image prior is a long-term goal for image restoration and manipulation. While existing methods like deep image prior (DIP) capture low-level image statistics, there are still gaps toward an image prior that captures rich image semantics including color, spatial coherence, textures, and high-level concepts. This work presents an effective way to exploit the image prior captured by a generative adversarial network (GAN) trained on large-scale natural images. As shown in Fig.1, the deep generative prior (DGP) provides compelling results to restore missing semantics, e.g., color, patch, resolution, of various degraded images. It also enables diverse image manipulation including random jittering, image morphing, and category transfer. Such highly flexible restoration and manipulation are made possible through relaxing the assumption of existing GAN-inversion methods, which tend to fix the generator. Notably, we allow the generator to be fine-tuned on-the-fly in a progressive manner regularized by feature distance obtained by the discriminator in GAN. We show that these easy-to-implement and practical changes help preserve the reconstruction to remain in the manifold of nature image, and thus lead to more precise and faithful reconstruction for real images. Code is available at https://github.com/XingangPan/deep-generative-prior.
• Abstract（参考訳）: 優れた画像の事前学習は、画像の復元と操作の長期的な目標である。 deep image prior (dip)のような既存の手法は低レベルの画像統計をキャプチャするが、色、空間的コヒーレンス、テクスチャ、ハイレベルな概念を含む豊かな画像セマンティクスをキャプチャする画像には、まだギャップがある。 本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 図1に示すように、深層生成前駆体(DGP)は、様々な劣化した画像の色、パッチ、解像度などの欠落した意味を復元するための魅力的な結果を提供する。 また、ランダムジッタリング、画像モーフィング、カテゴリ転送など、多様な画像操作も可能である。 このような高度に柔軟な復元と操作は、ジェネレータを固定する傾向がある既存のGAN反転法の仮定を緩和することで可能となる。 特に、GANの識別器によって得られる特徴距離によって、プログレッシブな方法で、ジェネレータをオンザフライで微調整できるようにする。 これらの実装が容易で実践的な変化は自然画像の多様体に残るように再構築を保ち、実画像のより正確で忠実な再構築に繋がることを示す。 コードはhttps://github.com/xingangpan/deep-generative-priorで入手できる。

関連論文リスト

• Restoration by Generation with Constrained Priors [25.906981634736795]
  入力画像にノイズを付加して復調し、復調させることで、画像復元のための事前学習拡散モデルを適用する方法を提案する。 複数の実世界の復元データセットにおいて、アイデンティティと画質の保存において優れた性能を示す。 このアプローチにより、従来の作業ではできなかった高周波の詳細を正確に保存する結果が得られます。
  論文  参考訳（メタデータ） (2023-12-28T17:50:54Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• RGI: robust GAN-inversion for mask-free image inpainting and unsupervised pixel-wise anomaly detection [18.10039647382319]
  本稿では,未知のテクストグロス汚損による画像復元を実現するために,ロバスト・ガン・インバージョン(RGI)法を提案する。 復元された画像と識別された領域のマスクは、地上の真実に収束することを示す。 提案したRGI/R-RGI法は,2つの重要な応用とSOTA(State-of-the-art)性能を統一する。
  論文  参考訳（メタデータ） (2023-02-24T05:43:03Z)
• High-Fidelity Image Inpainting with GAN Inversion [23.49170140410603]
  本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。 エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。 忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
  論文  参考訳（メタデータ） (2022-08-25T03:39:24Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution [85.53811497840725]
  我々は,大因子画像超解像(SR)の復元品質を向上させるために,GAN(Generative Adversarial Networks),例えばStyleGAN(StyleGAN)が潜時バンクとして使用できることを示す。 我々の手法であるGenerative LatEnt bANk(GLEAN)は、事前訓練されたGANにカプセル化されているリッチで多様な事前情報を直接活用することで、既存のプラクティスを越えている。 GLEANによってアップスケールされた画像は、既存の方法と比較して忠実さとテクスチャ忠実さの点で明らかに改善されている。
  論文  参考訳（メタデータ） (2020-12-01T18:56:14Z)
• The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
  本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。 次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。 そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-16T08:17:44Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。