論文の概要: Dissecting Arbitrary-scale Super-resolution Capability from Pre-trained
Diffusion Generative Models
- arxiv url: http://arxiv.org/abs/2306.00714v1
- Date: Thu, 1 Jun 2023 14:20:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 15:47:47.547490
- Title: Dissecting Arbitrary-scale Super-resolution Capability from Pre-trained
Diffusion Generative Models
- Title(参考訳): 事前学習拡散生成モデルからの任意スケール超解像能力の分離
- Authors: Ruibin Li, Qihua Zhou, Song Guo, Jie Zhang, Jingcai Guo, Xinyang
Jiang, Yifei Shen, Zhenhua Han
- Abstract要約: 拡散に基づく生成モデル(DGM)は、高品質な視覚コンテンツを合成する際の非並列的な性能を達成している。
これらの課題に対する最近の解決策は、しばしばアーキテクチャ固有のDGMをゼロから訓練するか、または事前訓練されたDGMに対して反復的な微調整と蒸留を必要とする。
我々はDiff-SRを提案する。Diff-SRは、事前訓練されたDGMのみをベースとした最初のASSRの試みであり、追加の訓練は行わない。
- 参考スコア(独自算出の注目度): 24.82036158180386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion-based Generative Models (DGMs) have achieved unparalleled
performance in synthesizing high-quality visual content, opening up the
opportunity to improve image super-resolution (SR) tasks. Recent solutions for
these tasks often train architecture-specific DGMs from scratch, or require
iterative fine-tuning and distillation on pre-trained DGMs, both of which take
considerable time and hardware investments. More seriously, since the DGMs are
established with a discrete pre-defined upsampling scale, they cannot well
match the emerging requirements of arbitrary-scale super-resolution (ASSR),
where a unified model adapts to arbitrary upsampling scales, instead of
preparing a series of distinct models for each case. These limitations beg an
intriguing question: can we identify the ASSR capability of existing
pre-trained DGMs without the need for distillation or fine-tuning? In this
paper, we take a step towards resolving this matter by proposing Diff-SR, a
first ASSR attempt based solely on pre-trained DGMs, without additional
training efforts. It is motivated by an exciting finding that a simple
methodology, which first injects a specific amount of noise into the
low-resolution images before invoking a DGM's backward diffusion process,
outperforms current leading solutions. The key insight is determining a
suitable amount of noise to inject, i.e., small amounts lead to poor low-level
fidelity, while over-large amounts degrade the high-level signature. Through a
finely-grained theoretical analysis, we propose the Perceptual Recoverable
Field (PRF), a metric that achieves the optimal trade-off between these two
factors. Extensive experiments verify the effectiveness, flexibility, and
adaptability of Diff-SR, demonstrating superior performance to state-of-the-art
solutions under diverse ASSR environments.
- Abstract(参考訳): 拡散に基づく生成モデル(DGM)は、高品質な視覚コンテンツを合成し、画像超解像(SR)タスクを改善する機会を開いた。
これらの課題に対する最近の解決策は、しばしばアーキテクチャ固有のDGMをゼロから訓練するか、または事前訓練されたDGMに反復的な微調整と蒸留を必要とする。
より真面目な話として、dgmは個別の事前定義されたアップサンプリングスケールで確立されているため、統合モデルが任意のアップサンプリングスケールに適応する任意のスケールスーパーレゾリューション(assr)の新たな要求に合致することはできない。
これらの制限は、蒸留や微調整を必要とせず、既存の訓練済みDGMのASSR能力を特定できるのか?
本稿では,Diff-SR(Diff-SR)という,事前学習型DGMのみをベースとした最初のASSRの試みを,追加のトレーニングを伴わずに提案する。
これは、DGMの後方拡散プロセスを呼び出す前に、まず特定の量のノイズを低解像度画像に注入する単純な手法が、現在の先行解より優れているというエキサイティングな発見によって動機付けられている。
重要な洞察は、少量のノイズが低レベルの忠実度を低下させるのに対して、過大な量は高レベルのシグネチャを劣化させる。
微粒な理論解析を通じて,これらの2つの要因間の最適なトレードオフを実現する指標である知覚回復場(Perceptual Recoverable Field, PRF)を提案する。
拡張実験はDiff-SRの有効性、柔軟性、適応性を検証し、多様なASSR環境下での最先端のソリューションに優れた性能を示す。
関連論文リスト
- DifAugGAN: A Practical Diffusion-style Data Augmentation for GAN-based
Single Image Super-resolution [88.13972071356422]
本稿では,DifAugGAN として知られる GAN ベースの画像超解像法(SR) のための拡散型データ拡張手法を提案する。
それは、訓練中の判別器の校正を改善するために、生成拡散モデルに拡散過程を適用することを含む。
我々のDifAugGANは、現在のGANベースのSISR手法のプラグ・アンド・プレイ戦略であり、判別器の校正を改善し、SR性能を向上させることができる。
論文 参考訳(メタデータ) (2023-11-30T12:37:53Z) - SMRD: SURE-based Robust MRI Reconstruction with Diffusion Models [76.43625653814911]
拡散モデルは、高い試料品質のため、MRIの再生を加速するために人気を博している。
推論時に柔軟にフォワードモデルを組み込んだまま、効果的にリッチなデータプリエントとして機能することができる。
拡散モデル(SMRD)を用いたSUREに基づくMRI再構成を導入し,テスト時の堅牢性を向上する。
論文 参考訳(メタデータ) (2023-10-03T05:05:35Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳(メタデータ) (2023-05-20T07:02:27Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。
IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。
スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文 参考訳(メタデータ) (2023-03-29T07:02:20Z) - Accelerating Score-based Generative Models with Preconditioned Diffusion
Sampling [36.02321871608158]
本稿では,行列プレコンディショニングを利用して問題を緩和するPDS法を提案する。
PDSは、合成品質を維持しながら、棚外のSGMを継続的に加速する。
特に、PSDはより難しい高解像度(1024x1024)の画像生成で最大29倍加速することができる。
論文 参考訳(メタデータ) (2022-07-05T17:55:42Z) - Accelerating Score-based Generative Models for High-Resolution Image
Synthesis [42.076244561541706]
スコアベース生成モデル(SGM)は、最近、将来性のある生成モデルのクラスとして登場した。
本研究では,SGMによる高分解能発生の加速について考察する。
本稿では,空間および周波数領域の構造的先行性を活用することによって,TDAS(Target Distribution Smpling Aware)手法を提案する。
論文 参考訳(メタデータ) (2022-06-08T17:41:14Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳(メタデータ) (2020-03-11T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。