論文の概要: Realistic Extreme Image Rescaling via Generative Latent Space Learning
- arxiv url: http://arxiv.org/abs/2408.09151v1
- Date: Sat, 17 Aug 2024 09:51:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 22:25:12.417460
- Title: Realistic Extreme Image Rescaling via Generative Latent Space Learning
- Title（参考訳）: 生成的潜在空間学習による現実的極端画像再スケーリング
- Authors: Ce Wang, Wanjie Sun, Zhenzhong Chen,
- Abstract要約: 極端画像再スケーリングのためのLatent Space Based Image Rescaling (LSBIR) という新しいフレームワークを提案する。
LSBIRは、訓練済みのテキスト-画像拡散モデルによって学習された強力な自然画像の先行を効果的に活用し、リアルなHR画像を生成する。
第1段階では、擬似非可逆エンコーダデコーダは、HR画像の潜在特徴とターゲットサイズのLR画像との双方向マッピングをモデル化する。
第2段階では、第1段階からの再構成された特徴を事前訓練された拡散モデルにより洗練し、より忠実で視覚的に喜ぶ詳細を生成する。
- 参考スコア（独自算出の注目度）: 51.85790402171696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image rescaling aims to learn the optimal downscaled low-resolution (LR) image that can be accurately reconstructed to its original high-resolution (HR) counterpart. This process is crucial for efficient image processing and storage, especially in the era of ultra-high definition media. However, extreme downscaling factors pose significant challenges due to the highly ill-posed nature of the inverse upscaling process, causing existing methods to struggle in generating semantically plausible structures and perceptually rich textures. In this work, we propose a novel framework called Latent Space Based Image Rescaling (LSBIR) for extreme image rescaling tasks. LSBIR effectively leverages powerful natural image priors learned by a pre-trained text-to-image diffusion model to generate realistic HR images. The rescaling is performed in the latent space of a pre-trained image encoder and decoder, which offers better perceptual reconstruction quality due to its stronger sparsity and richer semantics. LSBIR adopts a two-stage training strategy. In the first stage, a pseudo-invertible encoder-decoder models the bidirectional mapping between the latent features of the HR image and the target-sized LR image. In the second stage, the reconstructed features from the first stage are refined by a pre-trained diffusion model to generate more faithful and visually pleasing details. Extensive experiments demonstrate the superiority of LSBIR over previous methods in both quantitative and qualitative evaluations. The code will be available at: https://github.com/wwangcece/LSBIR.
- Abstract（参考訳）: 画像再スケーリングは、オリジナルの高解像度(HR)画像に正確に再構成できる最適な低解像度(LR)画像を学習することを目的としている。
このプロセスは、特に超高精細メディアの時代において、効率的な画像処理と記憶に不可欠である。
しかしながら、極端なダウンスケーリング要因は、逆アップスケーリングプロセスの極めて不適切な性質のために重大な課題を引き起こし、既存の手法が意味論的に妥当な構造と知覚的に豊かなテクスチャを生成するのに苦労する原因となった。
本研究では,過度な画像再スケーリングのためのLatent Space Based Image Rescaling (LSBIR) という新しいフレームワークを提案する。
LSBIRは、訓練済みのテキスト-画像拡散モデルによって学習された強力な自然画像の先行を効果的に活用し、リアルなHR画像を生成する。
この再スケーリングは、事前訓練された画像エンコーダとデコーダの潜在空間で行われ、より広さとよりリッチなセマンティクスにより、知覚的再構成品質が向上する。
LSBIRは2段階の訓練戦略を採用している。
第1段階では、擬似非可逆エンコーダデコーダは、HR画像の潜在特徴とターゲットサイズのLR画像との双方向マッピングをモデル化する。
第2段階では、第1段階からの再構成された特徴を事前訓練された拡散モデルにより洗練し、より忠実で視覚的に喜ぶ詳細を生成する。
拡張実験は、定量評価と定性評価の両方において、従来の方法よりもLSBIRの方が優れていることを示した。
コードは、https://github.com/wwangcece/LSBIR.comで入手できる。
関連論文リスト
- Super-Resolution through StyleGAN Regularized Latent Search: A
Realism-Fidelity Trade-off [3.212648064850423]
本稿では,高分解能(HR)画像を低分解能(LR)画像から構築する問題に対処する。
最近の教師なしアプローチでは、HR画像上で事前訓練されたStyleGANの潜伏空間を探索し、入力LR画像に最もダウンスケールした画像を求める。
我々は、潜在空間における探索を制約する新しい正規化器を導入し、逆符号が元の画像多様体に存在することを保証する。
論文 参考訳（メタデータ） (2023-11-28T16:27:24Z) - Self-Asymmetric Invertible Network for Compression-Aware Image Rescaling [6.861753163565238]
現実世界のアプリケーションでは、ほとんどの画像は伝送のために圧縮される。
圧縮対応画像再スケーリングのための自己非対称可逆ネットワーク(SAIN)を提案する。
論文 参考訳（メタデータ） (2023-03-04T08:33:46Z) - Enhancing Image Rescaling using Dual Latent Variables in Invertible
Neural Network [42.18106162158025]
画像ダウンスケーリングプロセスのバリエーションをモデル化するために、新しいダウンスケーリング潜在変数が導入された。
これにより、ダウンスケールのLR画像の画質を犠牲にすることなく、画像のアップスケーリング精度を一貫して向上させることができる。
また、画像隠蔽のような画像復元アプリケーションのための他の INN ベースのモデルの拡張にも有効であることが示されている。
論文 参考訳（メタデータ） (2022-07-24T23:12:51Z) - Memory-augmented Deep Unfolding Network for Guided Image
Super-resolution [67.83489239124557]
誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。
従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。
HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
論文 参考訳（メタデータ） (2022-02-12T15:37:13Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳（メタデータ） (2021-08-19T11:02:25Z) - Hierarchical Conditional Flow: A Unified Framework for Image
Super-Resolution and Image Rescaling [139.25215100378284]
画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。
HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。
さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
論文 参考訳（メタデータ） (2021-08-11T16:11:01Z) - Exploiting Deep Generative Prior for Versatile Image Restoration and
Manipulation [181.08127307338654]
本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。
深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
論文 参考訳（メタデータ） (2020-03-30T17:45:07Z) - PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of
Generative Models [77.32079593577821]
PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。
本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-03-08T16:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。