論文の概要: Improving the Stability of Diffusion Models for Content Consistent Super-Resolution

• arxiv url: http://arxiv.org/abs/2401.00877v1
• Date: Sat, 30 Dec 2023 10:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 15:39:16.661022
• Title: Improving the Stability of Diffusion Models for Content Consistent Super-Resolution
• Title（参考訳）: コンテンツ一貫性超解法における拡散モデルの安定性向上
• Authors: Lingchen Sun, Rongyuan Wu, Zhengqiang Zhang, Hongwei Yong, Lei Zhang
• Abstract要約: 画像超解像(SR)結果の知覚的品質を高めるために、事前学習した潜伏拡散モデルの生成先行が大きな可能性を証明している。 本稿では,画像構造を洗練させるために拡散モデルを用いるとともに,画像の微細化を図るために生成的対角トレーニングを採用することを提案する。 具体的には、画像主構造を再現するために、高効率で安定な、コンパクトな拡散ネットワークを訓練するための一様でないタイムステップ学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 17.2713480052151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generative priors of pre-trained latent diffusion models have demonstrated great potential to enhance the perceptual quality of image super-resolution (SR) results. Unfortunately, the existing diffusion prior-based SR methods encounter a common problem, i.e., they tend to generate rather different outputs for the same low-resolution image with different noise samples. Such stochasticity is desired for text-to-image generation tasks but problematic for SR tasks, where the image contents are expected to be well preserved. To improve the stability of diffusion prior-based SR, we propose to employ the diffusion models to refine image structures, while employing the generative adversarial training to enhance image fine details. Specifically, we propose a non-uniform timestep learning strategy to train a compact diffusion network, which has high efficiency and stability to reproduce the image main structures, and finetune the pre-trained decoder of variational auto-encoder (VAE) by adversarial training for detail enhancement. Extensive experiments show that our proposed method, namely content consistent super-resolution (CCSR), can significantly reduce the stochasticity of diffusion prior-based SR, improving the content consistency of SR outputs and speeding up the image generation process. Codes and models can be found at {https://github.com/csslc/CCSR}.
• Abstract（参考訳）: 事前学習された潜在拡散モデルの生成先行は、画像超解像(SR)結果の知覚的品質を高める大きな可能性を示している。 残念ながら、既存の拡散前のSR法は共通の問題に遭遇し、ノイズサンプルが異なる同じ低解像度画像に対してかなり異なる出力を生成する傾向にある。 このような確率性は、テキストから画像生成タスクには望ましいが、画像内容がよく保存されるSRタスクには問題がある。 拡散優先型srの安定性を向上させるために,画像構造の精巧化に拡散モデルを用い,画像の細部化のために生成的逆行訓練を施す。 具体的には,画像主構造を再現するための高い効率と安定性を有するコンパクト拡散ネットワークを訓練する非一様時間ステップ学習戦略を提案し,詳細化のための逆訓練により,可変オートエンコーダ(vae)のプリトレーニングデコーダを微調整する。 広汎な実験により,提案手法,すなわちコンテント一貫性超解像 (CCSR) は,拡散前のSRの確率性を著しく低減し,SR出力のコンテント一貫性を改善し,画像生成過程を高速化することを示した。 コードとモデルは {https://github.com/csslc/CCSR} で見ることができる。

関連論文リスト

• One-Step Effective Diffusion Network for Real-World Image Super-Resolution [11.326598938246558]
  本稿では,Real-ISR問題に対する1ステップの効果的な拡散ネットワーク,すなわちOSEDiffを提案する。 我々は,KL分散正則化を行うために,潜時空間における変分点蒸留を適用した。 実験の結果,OSEDiffは,客観的指標と主観的評価の両方の観点から,同等あるいはさらに優れたリアルISR結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-06-12T13:10:31Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。 モデル構造では、二項化に最適化されたUNetアーキテクチャを設計する。 我々は,一貫した次元を維持するために,一貫した画素ダウンサンプル (CP-Down) と一貫したピクセルアップサンプル (CP-Up) を提案する。 BI-DiffSRが既存のバイナライゼーション法より優れていることを示す総合実験を行った。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• Diffusion-Aided Joint Source Channel Coding For High Realism Wireless Image Transmission [24.372996233209854]
  DiffJSCCは条件拡散復調法により高現実性画像を生成する新しいフレームワークである。 768x512ピクセルのコダック画像を3072のシンボルで再現できる。
  論文  参考訳（メタデータ） (2024-04-27T00:12:13Z)
• CasSR: Activating Image Power for Real-World Image Super-Resolution [24.152495730507823]
  超解像のためのカスケード拡散法CasSRは、高精細でリアルな画像を生成するために設計された新しい方法である。 低解像度画像からの情報の抽出を最適化するカスケード制御可能な拡散モデルを開発した。
  論文  参考訳（メタデータ） (2024-03-18T03:59:43Z)
• DifAugGAN: A Practical Diffusion-style Data Augmentation for GAN-based Single Image Super-resolution [88.13972071356422]
  本稿では,DifAugGAN として知られる GAN ベースの画像超解像法(SR) のための拡散型データ拡張手法を提案する。 それは、訓練中の判別器の校正を改善するために、生成拡散モデルに拡散過程を適用することを含む。 我々のDifAugGANは、現在のGANベースのSISR手法のプラグ・アンド・プレイ戦略であり、判別器の校正を改善し、SR性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-11-30T12:37:53Z)
• DiffSCI: Zero-Shot Snapshot Compressive Imaging via Iterative Spectral Diffusion Model [18.25548360119976]
  マルチスペクトル画像(MSI)におけるスナップショット圧縮画像(SCI)再構成の精度向上を目指した。 DiffSCIと呼ばれる新しいゼロショット拡散モデルを提案する。 我々は,DiffSCIが自己監督的,ゼロショット的アプローチよりも顕著な性能向上を示すことを示すため,広範囲な試験を行った。
  論文  参考訳（メタデータ） (2023-11-19T20:27:14Z)
• ACDMSR: Accelerated Conditional Diffusion Models for Single Image Super-Resolution [84.73658185158222]
  本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。 提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。 提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
  論文  参考訳（メタデータ） (2023-07-03T06:49:04Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Solving Diffusion ODEs with Optimal Boundary Conditions for Better Image Super-Resolution [82.50210340928173]
  拡散モデルのランダム性は非効率性と不安定性をもたらすため、SR結果の品質を保証することは困難である。 本稿では,一連の拡散型SR手法の恩恵を受ける可能性を持つプラグアンドプレイサンプリング手法を提案する。 提案手法によりサンプリングされたSR結果の質は, 学習前の拡散ベースSRモデルと同一のランダム性を有する現在の手法でサンプリングされた結果の質より優れる。
  論文  参考訳（メタデータ） (2023-05-24T17:09:54Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• Super-resolution Reconstruction of Single Image for Latent features [8.857209365343646]
  単一像超解像(SISR)は、通常、様々な劣化した低分解能(LR)画像を単一の高分解能(HR)画像に復元することに焦点を当てる。 モデルが細部やテクスチャの多様性を保ちながら、高品質かつ迅速なサンプリングを同時に維持することは、しばしば困難である。 この課題は、モデル崩壊、再構成されたHR画像におけるリッチディテールとテクスチャの特徴の欠如、モデルサンプリングの過剰な時間消費などの問題を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2022-11-16T09:37:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。