論文の概要: AP-LDM: Attentive and Progressive Latent Diffusion Model for Training-Free High-Resolution Image Generation
- arxiv url: http://arxiv.org/abs/2410.06055v1
- Date: Tue, 8 Oct 2024 13:56:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 11:20:35.661689
- Title: AP-LDM: Attentive and Progressive Latent Diffusion Model for Training-Free High-Resolution Image Generation
- Title（参考訳）: AP-LDM: 学習不要高分解能画像生成のための注意・進行遅延拡散モデル
- Authors: Boyuan Cao, Jiaxin Ye, Yujie Wei, Hongming Shan,
- Abstract要約: 遅延拡散モデル(LDM)は、しばしば高分解能(HR)画像を直接生成する際に重要な構造歪みを経験する。
生成プロセスの高速化を図り,HR画像の品質向上を目的とした注意・進歩型LDM(Attentive and Progressive LDM)を提案する。
AP-LDM は LDM の分解過程を, (i) 注意的訓練分解性脱ノイズ, (ii) 進行性高分解能脱ノイズの2段階に分解する。
- 参考スコア（独自算出の注目度）: 12.564266865237343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent diffusion models (LDMs), such as Stable Diffusion, often experience significant structural distortions when directly generating high-resolution (HR) images that exceed their original training resolutions. A straightforward and cost-effective solution is to adapt pre-trained LDMs for HR image generation; however, existing methods often suffer from poor image quality and long inference time. In this paper, we propose an Attentive and Progressive LDM (AP-LDM), a novel, training-free framework aimed at enhancing HR image quality while accelerating the generation process. AP-LDM decomposes the denoising process of LDMs into two stages: (i) attentive training-resolution denoising, and (ii) progressive high-resolution denoising. The first stage generates a latent representation of a higher-quality training-resolution image through the proposed attentive guidance, which utilizes a novel parameter-free self-attention mechanism to enhance the structural consistency. The second stage progressively performs upsampling in pixel space, alleviating the severe artifacts caused by latent space upsampling. Leveraging the effective initialization from the first stage enables denoising at higher resolutions with significantly fewer steps, enhancing overall efficiency. Extensive experimental results demonstrate that AP-LDM significantly outperforms state-of-the-art methods, delivering up to a 5x speedup in HR image generation, thereby highlighting its substantial advantages for real-world applications. Code is available at https://github.com/kmittle/AP-LDM.
- Abstract（参考訳）: 安定拡散のような潜時拡散モデル(LDM)は、しばしば、元のトレーニング解像度を超える高解像度(HR)画像を直接生成する際に、重要な構造歪みを経験する。
直接的で費用対効果の高い解決策は、HR画像生成のために事前訓練されたLCMを適用することであるが、既存の手法では画像品質の低下と長時間の推測に悩まされることが多い。
本稿では,HR画像の品質向上を目的とした新しい学習自由フレームワークであるAttentive and Progressive LDM(AP-LDM)を提案する。
AP-LDMはLDMの分解過程を2段階に分解する。
一 注意深い訓練の質疑応答、及び
(II)進行性高分解能デノナイジング。
第1段階は、新しいパラメータフリー自己保持機構を用いて、構造的整合性を高めることによって、高品質なトレーニング解像度画像の潜時表現を生成する。
第2段階は徐々に画素空間でのアップサンプリングを行い、潜在空間のアップサンプリングによって引き起こされる深刻なアーティファクトを緩和する。
第1段階から効果的な初期化を活用すれば、ステップが大幅に少ない高分解能での分解が可能となり、全体的な効率が向上する。
大規模な実験結果から,AP-LDMは最先端の手法を著しく上回り,HR画像生成の最大5倍の高速化を実現し,現実世界のアプリケーションにおいてその大きな利点を浮き彫りにした。
コードはhttps://github.com/kmittle/AP-LDM.comで入手できる。
関連論文リスト
- Latent Diffusion, Implicit Amplification: Efficient Continuous-Scale Super-Resolution for Remote Sensing Images [7.920423405957888]
E$2$DiffSRは、最先端のSR手法と比較して、客観的な指標と視覚的品質を達成する。
拡散に基づくSR法の推論時間を非拡散法と同程度のレベルに短縮する。
論文 参考訳（メタデータ） (2024-10-30T09:14:13Z) - A Flow-based Truncated Denoising Diffusion Model for Super-resolution Magnetic Resonance Spectroscopic Imaging [34.32290273033808]
本研究は,超高分解能MRSIのためのフローベースTrncated Denoising Diffusion Modelを導入する。
拡散鎖を切断することで拡散過程を短縮し, 正規化フローベースネットワークを用いて切断工程を推定する。
FTDDMは既存の生成モデルよりも優れており、サンプリングプロセスを9倍以上高速化している。
論文 参考訳（メタデータ） (2024-10-25T03:42:35Z) - Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。
本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。
既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
論文 参考訳（メタデータ） (2024-09-25T16:15:21Z) - One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。
OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。
近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。
我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
論文 参考訳（メタデータ） (2024-08-14T11:47:22Z) - ACDMSR: Accelerated Conditional Diffusion Models for Single Image
Super-Resolution [84.73658185158222]
本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。
提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。
提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
論文 参考訳（メタデータ） (2023-07-03T06:49:04Z) - Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。
IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。
スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文 参考訳（メタデータ） (2023-03-29T07:02:20Z) - Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。
深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。
本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
論文 参考訳（メタデータ） (2022-06-06T13:28:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。