論文の概要: GLEAN: Generative Latent Bank for Image Super-Resolution and Beyond

• arxiv url: http://arxiv.org/abs/2207.14812v1
• Date: Fri, 29 Jul 2022 17:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 13:01:32.961101
• Title: GLEAN: Generative Latent Bank for Image Super-Resolution and Beyond
• Title（参考訳）: glean: 画像スーパーレゾリューションのための生成的潜在銀行
• Authors: Kelvin C.K. Chan, Xiangyu Xu, Xintao Wang, Jinwei Gu, Chen Change Loy
• Abstract要約: 画像超解像の性能向上のために,StyleGAN や BigGAN などの事前学習型生成支援ネットワーク (GAN) が潜時バンクとして利用できることを示す。 我々の手法であるGenerative LatEnt bANk(GLEAN)は、事前訓練されたGANにカプセル化されているリッチで多様な事前情報を直接活用することで、既存のプラクティスを越えている。 画像のカラー化やブラインド画像の復元など,さまざまなタスクにメソッドを拡張し,提案手法が既存の手法と比較して良好に動作することを示す。
• 参考スコア（独自算出の注目度）: 99.6233044915999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that pre-trained Generative Adversarial Networks (GANs) such as StyleGAN and BigGAN can be used as a latent bank to improve the performance of image super-resolution. While most existing perceptual-oriented approaches attempt to generate realistic outputs through learning with adversarial loss, our method, Generative LatEnt bANk (GLEAN), goes beyond existing practices by directly leveraging rich and diverse priors encapsulated in a pre-trained GAN. But unlike prevalent GAN inversion methods that require expensive image-specific optimization at runtime, our approach only needs a single forward pass for restoration. GLEAN can be easily incorporated in a simple encoder-bank-decoder architecture with multi-resolution skip connections. Employing priors from different generative models allows GLEAN to be applied to diverse categories (\eg~human faces, cats, buildings, and cars). We further present a lightweight version of GLEAN, named LightGLEAN, which retains only the critical components in GLEAN. Notably, LightGLEAN consists of only 21% of parameters and 35% of FLOPs while achieving comparable image quality. We extend our method to different tasks including image colorization and blind image restoration, and extensive experiments show that our proposed models perform favorably in comparison to existing methods. Codes and models are available at https://github.com/open-mmlab/mmediting.
• Abstract（参考訳）: 画像超解像の性能向上のために,StyleGAN や BigGAN などの事前学習型生成支援ネットワーク (GAN) が潜時バンクとして利用できることを示す。 既存の知覚指向アプローチのほとんどは、対向的損失を伴う学習を通じて現実的なアウトプットを生成しようとするが、我々の手法であるGenerative LatEnt bANk(GLEAN)は、事前訓練されたGANにカプセル化されたリッチで多様なプリエントを直接活用することによって、既存のプラクティスを越えている。 しかし、実行時に高価な画像固有最適化を必要とする一般的なGANインバージョンメソッドとは異なり、我々のアプローチは復元のために1つのフォワードパスしか必要としない。 GLEANは、マルチ解像度スキップ接続を備えた単純なエンコーダバンクデコーダアーキテクチャに簡単に組み込むことができる。 異なる生成モデルから事前を採用すれば、GLEANはさまざまなカテゴリ(人間の顔、猫、建物、車)に適用できる。 さらに、GLEANの軽量バージョンであるLightGLEANを提示し、GLEANの重要なコンポーネントのみを保持する。 特に、LightGLEANはパラメータのわずか21%とFLOPの35%で構成され、画像の品質は同等である。 画像のカラー化やブラインド画像の復元など,さまざまなタスクにメソッドを拡張し,提案手法が既存の手法と比較して良好に動作することを示す。 コードとモデルはhttps://github.com/open-mmlab/mmeditingで入手できる。

関連論文リスト

• A Simple Approach to Unifying Diffusion-based Conditional Generation [63.389616350290595]
  多様な条件生成タスクを処理するための、シンプルで統一されたフレームワークを導入します。 提案手法は,異なる推論時間サンプリング方式による多目的化を実現する。 我々のモデルは、非親密なアライメントや粗い条件付けのような追加機能をサポートしています。
  論文  参考訳（メタデータ） (2024-10-15T09:41:43Z)
• Towards Generative Class Prompt Learning for Fine-grained Visual Recognition [5.633314115420456]
  ジェネレーティブ・クラス・プロンプト・ラーニングとコントラスト・マルチクラス・プロンプト・ラーニングを紹介する。 Generative Class Prompt Learningは、学習可能なクラスプロンプトを持つ数ショットの例に条件付けすることで、クラス埋め込みにおける視覚言語相乗性を改善する。 CoMPLeはこの基盤の上に構築されており、クラス間の分離を促進する対照的な学習コンポーネントを導入している。
  論文  参考訳（メタデータ） (2024-09-03T12:34:21Z)
• ToddlerDiffusion: Interactive Structured Image Generation with Cascaded Schrödinger Bridge [63.00793292863]
  ToddlerDiffusionは、RGB画像生成の複雑なタスクを、よりシンプルで解釈可能なステージに分解するための新しいアプローチである。 提案手法はToddler Diffusionと呼ばれ,それぞれが中間表現を生成する責務を担っている。 ToddlerDiffusionは、常に最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-11-24T15:20:01Z)
• High-Resolution GAN Inversion for Degraded Images in Large Diverse Datasets [39.21692649763314]
  本稿では,StyleGAN-XLの強力な生成能力を利用した新しいGANインバージョンフレームワークを提案する。 StyleGAN-XLによる逆問題を軽減するために、Clustering & Regularize Inversion (CRI)を提案する。 我々は、複雑な自然画像の複数の復元作業(例えば、塗装、着色、超解像)において、CRI方式を検証し、定量的および定性的な結果を示す。
  論文  参考訳（メタデータ） (2023-02-07T11:24:11Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• Drop the GAN: In Defense of Patches Nearest Neighbors as Single Image Generative Models [17.823089978609843]
  これらのタスクはすべて、数秒以内に、統合された驚くほど単純なフレームワークで、トレーニングなしで実行可能であることを示す。 最初は粗い推測から始まり、その後、パッチアレスト近傍のサーチを使って細かな細かな細部を精査する。 これにより、GANよりも高速でランダムな新規画像を生成することができます。
  論文  参考訳（メタデータ） (2021-03-29T12:20:46Z)
• GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution [85.53811497840725]
  我々は,大因子画像超解像(SR)の復元品質を向上させるために,GAN(Generative Adversarial Networks),例えばStyleGAN(StyleGAN)が潜時バンクとして使用できることを示す。 我々の手法であるGenerative LatEnt bANk(GLEAN)は、事前訓練されたGANにカプセル化されているリッチで多様な事前情報を直接活用することで、既存のプラクティスを越えている。 GLEANによってアップスケールされた画像は、既存の方法と比較して忠実さとテクスチャ忠実さの点で明らかに改善されている。
  論文  参考訳（メタデータ） (2020-12-01T18:56:14Z)
• InfoMax-GAN: Improved Adversarial Image Generation via Information Maximization and Contrastive Learning [39.316605441868944]
  GAN(Generative Adversarial Networks)は、多くのジェネレーティブモデリングアプリケーションの基本である。 本稿では,GANにおける2つの基本的な問題を同時に緩和する基本的枠組みを提案する。 提案手法は, 5つのデータセットにわたる画像合成において, GANトレーニングを著しく安定化し, GAN性能を向上させる。
  論文  参考訳（メタデータ） (2020-07-09T06:56:11Z)
• The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
  本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。 次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。 そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-16T08:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。