論文の概要: Dissecting Arbitrary-scale Super-resolution Capability from Pre-trained Diffusion Generative Models

• arxiv url: http://arxiv.org/abs/2306.00714v1
• Date: Thu, 1 Jun 2023 14:20:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 15:47:47.547490
• Title: Dissecting Arbitrary-scale Super-resolution Capability from Pre-trained Diffusion Generative Models
• Title（参考訳）: 事前学習拡散生成モデルからの任意スケール超解像能力の分離
• Authors: Ruibin Li, Qihua Zhou, Song Guo, Jie Zhang, Jingcai Guo, Xinyang Jiang, Yifei Shen, Zhenhua Han
• Abstract要約: 拡散に基づく生成モデル(DGM)は、高品質な視覚コンテンツを合成する際の非並列的な性能を達成している。 これらの課題に対する最近の解決策は、しばしばアーキテクチャ固有のDGMをゼロから訓練するか、または事前訓練されたDGMに対して反復的な微調整と蒸留を必要とする。 我々はDiff-SRを提案する。Diff-SRは、事前訓練されたDGMのみをベースとした最初のASSRの試みであり、追加の訓練は行わない。
• 参考スコア（独自算出の注目度）: 24.82036158180386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based Generative Models (DGMs) have achieved unparalleled performance in synthesizing high-quality visual content, opening up the opportunity to improve image super-resolution (SR) tasks. Recent solutions for these tasks often train architecture-specific DGMs from scratch, or require iterative fine-tuning and distillation on pre-trained DGMs, both of which take considerable time and hardware investments. More seriously, since the DGMs are established with a discrete pre-defined upsampling scale, they cannot well match the emerging requirements of arbitrary-scale super-resolution (ASSR), where a unified model adapts to arbitrary upsampling scales, instead of preparing a series of distinct models for each case. These limitations beg an intriguing question: can we identify the ASSR capability of existing pre-trained DGMs without the need for distillation or fine-tuning? In this paper, we take a step towards resolving this matter by proposing Diff-SR, a first ASSR attempt based solely on pre-trained DGMs, without additional training efforts. It is motivated by an exciting finding that a simple methodology, which first injects a specific amount of noise into the low-resolution images before invoking a DGM's backward diffusion process, outperforms current leading solutions. The key insight is determining a suitable amount of noise to inject, i.e., small amounts lead to poor low-level fidelity, while over-large amounts degrade the high-level signature. Through a finely-grained theoretical analysis, we propose the Perceptual Recoverable Field (PRF), a metric that achieves the optimal trade-off between these two factors. Extensive experiments verify the effectiveness, flexibility, and adaptability of Diff-SR, demonstrating superior performance to state-of-the-art solutions under diverse ASSR environments.
• Abstract（参考訳）: 拡散に基づく生成モデル(DGM)は、高品質な視覚コンテンツを合成し、画像超解像(SR)タスクを改善する機会を開いた。 これらの課題に対する最近の解決策は、しばしばアーキテクチャ固有のDGMをゼロから訓練するか、または事前訓練されたDGMに反復的な微調整と蒸留を必要とする。 より真面目な話として、dgmは個別の事前定義されたアップサンプリングスケールで確立されているため、統合モデルが任意のアップサンプリングスケールに適応する任意のスケールスーパーレゾリューション(assr)の新たな要求に合致することはできない。 これらの制限は、蒸留や微調整を必要とせず、既存の訓練済みDGMのASSR能力を特定できるのか? 本稿では,Diff-SR(Diff-SR)という,事前学習型DGMのみをベースとした最初のASSRの試みを,追加のトレーニングを伴わずに提案する。 これは、DGMの後方拡散プロセスを呼び出す前に、まず特定の量のノイズを低解像度画像に注入する単純な手法が、現在の先行解より優れているというエキサイティングな発見によって動機付けられている。 重要な洞察は、少量のノイズが低レベルの忠実度を低下させるのに対して、過大な量は高レベルのシグネチャを劣化させる。 微粒な理論解析を通じて,これらの2つの要因間の最適なトレードオフを実現する指標である知覚回復場(Perceptual Recoverable Field, PRF)を提案する。 拡張実験はDiff-SRの有効性、柔軟性、適応性を検証し、多様なASSR環境下での最先端のソリューションに優れた性能を示す。

関連論文リスト

• Latent Diffusion, Implicit Amplification: Efficient Continuous-Scale Super-Resolution for Remote Sensing Images [7.920423405957888]
  E$2$DiffSRは、最先端のSR手法と比較して、客観的な指標と視覚的品質を達成する。 拡散に基づくSR法の推論時間を非拡散法と同程度のレベルに短縮する。
  論文  参考訳（メタデータ） (2024-10-30T09:14:13Z)
• Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
  拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。 本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。 既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
  論文  参考訳（メタデータ） (2024-09-25T16:15:21Z)
• Improving the Stability and Efficiency of Diffusion Models for Content Consistent Super-Resolution [18.71638301931374]
  画像超解像 (SR) 結果の視覚的品質を高めるために, 予め訓練した潜伏拡散モデル (DM) の生成先行が大きな可能性を示唆している。 本稿では、生成SR過程を2段階に分割し、DMを画像構造再構築に、GANを細かな細部改善に使用することを提案する。 トレーニングを済ませると、提案手法、すなわちコンテンツ一貫性超解像(CCSR)は、推論段階における異なる拡散ステップの柔軟な利用を可能にする。
  論文  参考訳（メタデータ） (2023-12-30T10:22:59Z)
• DifAugGAN: A Practical Diffusion-style Data Augmentation for GAN-based Single Image Super-resolution [88.13972071356422]
  本稿では,DifAugGAN として知られる GAN ベースの画像超解像法(SR) のための拡散型データ拡張手法を提案する。 それは、訓練中の判別器の校正を改善するために、生成拡散モデルに拡散過程を適用することを含む。 我々のDifAugGANは、現在のGANベースのSISR手法のプラグ・アンド・プレイ戦略であり、判別器の校正を改善し、SR性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-11-30T12:37:53Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• Accelerating Score-based Generative Models with Preconditioned Diffusion Sampling [36.02321871608158]
  本稿では,行列プレコンディショニングを利用して問題を緩和するPDS法を提案する。 PDSは、合成品質を維持しながら、棚外のSGMを継続的に加速する。 特に、PSDはより難しい高解像度(1024x1024)の画像生成で最大29倍加速することができる。
  論文  参考訳（メタデータ） (2022-07-05T17:55:42Z)
• Accelerating Score-based Generative Models for High-Resolution Image Synthesis [42.076244561541706]
  スコアベース生成モデル(SGM)は、最近、将来性のある生成モデルのクラスとして登場した。 本研究では,SGMによる高分解能発生の加速について考察する。 本稿では,空間および周波数領域の構造的先行性を活用することによって,TDAS(Target Distribution Smpling Aware)手法を提案する。
  論文  参考訳（メタデータ） (2022-06-08T17:41:14Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。