論文の概要: Unlimited-Size Diffusion Restoration
- arxiv url: http://arxiv.org/abs/2303.00354v1
- Date: Wed, 1 Mar 2023 09:30:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 15:26:50.610034
- Title: Unlimited-Size Diffusion Restoration
- Title(参考訳): 無制限拡散修復
- Authors: Yinhuai Wang, Jiwen Yu, Runyi Yu, Jian Zhang
- Abstract要約: 本稿では,拡散型ゼロショット画像復元法を用いて任意のサイズに対処する方法に焦点を当てる。
レンジ・ヌル空間分解に着想を得て,局所的不整合に対処するマスク・シフト復元法を提案する。
我々の単純でパラメータフリーなアプローチは、画像復元だけでなく、無制限サイズの画像生成にも利用できる。
- 参考スコア(独自算出の注目度): 5.841366452509529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, using diffusion models for zero-shot image restoration (IR) has
become a new hot paradigm. This type of method only needs to use the
pre-trained off-the-shelf diffusion models, without any finetuning, and can
directly handle various IR tasks. The upper limit of the restoration
performance depends on the pre-trained diffusion models, which are in rapid
evolution. However, current methods only discuss how to deal with fixed-size
images, but dealing with images of arbitrary sizes is very important for
practical applications. This paper focuses on how to use those diffusion-based
zero-shot IR methods to deal with any size while maintaining the excellent
characteristics of zero-shot. A simple way to solve arbitrary size is to divide
it into fixed-size patches and solve each patch independently. But this may
yield significant artifacts since it neither considers the global semantics of
all patches nor the local information of adjacent patches. Inspired by the
Range-Null space Decomposition, we propose the Mask-Shift Restoration to
address local incoherence and propose the Hierarchical Restoration to alleviate
out-of-domain issues. Our simple, parameter-free approaches can be used not
only for image restoration but also for image generation of unlimited sizes,
with the potential to be a general tool for diffusion models. Code:
https://github.com/wyhuai/DDNM/tree/main/hq_demo
- Abstract(参考訳): 近年,ゼロショット画像復元(IR)のための拡散モデルが注目されている。
この種の方法は、事前訓練されたオフザシェルフ拡散モデルを使用するだけで、微調整なしで、様々なIRタスクを直接処理できる。
修復性能の上限は、急速に進化している事前訓練された拡散モデルに依存する。
しかし、現在の手法では固定サイズの画像を扱う方法のみを議論するが、任意のサイズの画像を扱うことは実用上非常に重要である。
本稿では,この拡散型ゼロショットIR法を用いて,ゼロショットの優れた特性を維持しつつ,任意のサイズを扱う方法について述べる。
任意のサイズを解く簡単な方法は、それを固定サイズのパッチに分割し、各パッチを独立して解くことである。
しかし、すべてのパッチのグローバルセマンティクスや、隣接するパッチのローカル情報を考慮していないため、これは重要なアーティファクトをもたらす可能性がある。
範囲のヌル空間分解に触発されて,局所的不整合に対処するマスクシフト復元を提案し,領域外の問題を緩和するための階層的復元を提案する。
私たちの単純なパラメータフリーなアプローチは、画像復元だけでなく、無制限サイズの画像生成にも利用できます。
コード: https://github.com/wyhuai/ddnm/tree/main/hq_demo
関連論文リスト
- Correcting Diffusion Generation through Resampling [35.983033188407845]
本研究では, 生成画像と接地画像の分布差を低減できる粒子フィルタリングフレームワークを提案する。
提案手法は, 画像生成タスクにおいて, 欠落したオブジェクトの誤りを効果的に補正し, 画質を向上させる。
論文 参考訳(メタデータ) (2023-12-10T23:35:13Z) - ElasticDiffusion: Training-free Arbitrary Size Image Generation [16.923002028395985]
ElasticDiffusionは、事前訓練されたテキストと画像の拡散モデルが様々なサイズで画像を生成することができる、トレーニング不要のデコード手法である。
実験と定性的な結果から,マルチディフュージョンと安定ディフュージョンの標準デコード戦略と比較して,アスペクト比における画像コヒーレンス品質が優れていた。
論文 参考訳(メタデータ) (2023-11-30T18:58:17Z) - Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。
P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
論文 参考訳(メタデータ) (2023-10-02T11:31:48Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - I$^2$SB: Image-to-Image Schr\"odinger Bridge [87.43524087956457]
Image-to-Image Schr"odinger Bridge (I$2$SB) は条件拡散モデルの新しいクラスである。
I$2$SB は、2つの与えられた分布間の非線形拡散過程を直接学習する。
I$2$SBは、より解釈可能な生成過程を持つ標準条件拡散モデルを超えることを示す。
論文 参考訳(メタデータ) (2023-02-12T08:35:39Z) - Uncovering the Disentanglement Capability in Text-to-Image Diffusion
Models [60.63556257324894]
画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。
本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。
実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
論文 参考訳(メタデータ) (2022-12-16T19:58:52Z) - SDM: Spatial Diffusion Model for Large Hole Image Inpainting [106.90795513361498]
本稿では,空間拡散モデル(SDM)を提案する。
また,提案手法は非結合確率モデルと空間拡散スキームにより,高品質な大穴工法を実現する。
論文 参考訳(メタデータ) (2022-12-06T13:30:18Z) - Diffusion Visual Counterfactual Explanations [51.077318228247925]
VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。
VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。
本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
論文 参考訳(メタデータ) (2022-10-21T09:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。