論文の概要: Zoomed In, Diffused Out: Towards Local Degradation-Aware Multi-Diffusion for Extreme Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2411.12072v1
• Date: Mon, 18 Nov 2024 21:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:26.073220
• Title: Zoomed In, Diffused Out: Towards Local Degradation-Aware Multi-Diffusion for Extreme Image Super-Resolution
• Title（参考訳）: ズームイン・ディフューズアウト:局所劣化を考慮した超解像超解像の多次元拡散に向けて
• Authors: Brian B. Moser, Stanislav Frolov, Tobias C. Nauen, Federico Raue, Andreas Dengel,
• Abstract要約: 大規模で事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルが画像生成タスクで大きな人気を集めている。 既存のほとんどのT2I拡散モデルは解像度限界512x512で訓練されており、この解像度を超えるスケーリングは画像超解法(SR)にとって未解決だが必要な課題である。 本稿では,2K,4K,さらに8K画像も追加トレーニングなしで生成できる新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 8.69908615905782
• License:
• Abstract: Large-scale, pre-trained Text-to-Image (T2I) diffusion models have gained significant popularity in image generation tasks and have shown unexpected potential in image Super-Resolution (SR). However, most existing T2I diffusion models are trained with a resolution limit of 512x512, making scaling beyond this resolution an unresolved but necessary challenge for image SR. In this work, we introduce a novel approach that, for the first time, enables these models to generate 2K, 4K, and even 8K images without any additional training. Our method leverages MultiDiffusion, which distributes the generation across multiple diffusion paths to ensure global coherence at larger scales, and local degradation-aware prompt extraction, which guides the T2I model to reconstruct fine local structures according to its low-resolution input. These innovations unlock higher resolutions, allowing T2I diffusion models to be applied to image SR tasks without limitation on resolution.
• Abstract（参考訳）: 大規模で事前訓練されたテキスト・トゥ・イメージ(T2I)拡散モデルが画像生成タスクで大きな人気を集め、画像超解法(SR)において予期せぬ可能性を示している。 しかし、既存のほとんどのT2I拡散モデルは512x512の解像度限界で訓練されており、この解像度を超えるスケーリングは未解決だが画像SRに必要な課題である。 本研究では,2K,4K,さらに8K画像も追加トレーニングなしで生成できる新しいアプローチを提案する。 提案手法では,複数の拡散経路にまたがって生成を分散し,大規模でグローバルなコヒーレンスを確保するマルチディフュージョンと,T2Iモデルの低分解能入力による局所構造再構築を誘導する局所劣化対応プロンプト抽出を利用する。 これらの革新により高解像度化が実現され、T2I拡散モデルが解像度の制限なしに画像SRタスクに適用できるようになった。

関連論文リスト

• Simpler Diffusion (SiD2): 1.5 FID on ImageNet512 with pixel-space diffusion [34.70370851239368]
  画素空間モデルは、実際、品質と効率の両面において、潜在的なアプローチと非常に競合する可能性があることを示す。 エンド・ツー・エンドのピクセル空間拡散モデルを高分解能に拡張するための簡単なレシピを提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:20:06Z)
• FiTv2: Scalable and Improved Flexible Vision Transformer for Diffusion Model [76.84519526283083]
  textbfFlexible Vision Transformer (FiT) は、テキスト非制限解像度とアスペクト比で画像を生成するために設計されたトランスアーキテクチャである。 FiTv2は、高度なトレーニングフリーな外挿技術を導入する際に、FiTの収束速度を2倍に向上させる。 総合的な実験は、FiTv2の幅広い解像度での異常な性能を実証している。
  論文  参考訳（メタデータ） (2024-10-17T15:51:49Z)
• SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions [5.100085108873068]
  SDXS-512 と SDXS-1024 の2つのモデルを示し,1つのGPU上で約100 FPS (SD v1.5 より30倍速い) と30 FPS (SDXLより60倍速い) の推論速度を実現する。 我々のトレーニングアプローチは、画像条件付き制御に有望な応用を提供し、画像間の効率的な翻訳を容易にする。
  論文  参考訳（メタデータ） (2024-03-25T11:16:23Z)
• CasSR: Activating Image Power for Real-World Image Super-Resolution [24.152495730507823]
  超解像のためのカスケード拡散法CasSRは、高精細でリアルな画像を生成するために設計された新しい方法である。 低解像度画像からの情報の抽出を最適化するカスケード制御可能な拡散モデルを開発した。
  論文  参考訳（メタデータ） (2024-03-18T03:59:43Z)
• Diffusion Models Without Attention [110.5623058129782]
  Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。 拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
  論文  参考訳（メタデータ） (2023-11-30T05:15:35Z)
• HiDiffusion: Unlocking Higher-Resolution Creativity and Efficiency in Pretrained Diffusion Models [13.68666823175341]
  HiDiffusionは、画像合成のためのチューニング不要な高解像度フレームワークである。 RAU-Netはオブジェクト重複を解決するために特徴マップサイズを動的に調整する。 MSW-MSAは、計算量を減らすために最適化されたウィンドウアテンションを利用する。
  論文  参考訳（メタデータ） (2023-11-29T11:01:38Z)
• ScaleCrafter: Tuning-free Higher-Resolution Visual Generation with Diffusion Models [126.35334860896373]
  本研究では,事前学習した拡散モデルから,トレーニング画像サイズよりもはるかに高解像度で画像を生成する能力について検討する。 注意ベースや共同拡散アプローチのような、高分解能な生成のための既存の研究は、これらの問題にうまく対処できない。 本稿では,推論中の畳み込み知覚場を動的に調整できる簡易かつ効果的な再拡張法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T17:52:39Z)
• Towards Lightweight Super-Resolution with Dual Regression Learning [58.98801753555746]
  深層ニューラルネットワークは、画像超解像(SR)タスクにおいて顕著な性能を示した。 SR問題は通常不適切な問題であり、既存の手法にはいくつかの制限がある。 本稿では、SRマッピングの可能な空間を削減するために、二重回帰学習方式を提案する。
  論文  参考訳（メタデータ） (2022-07-16T12:46:10Z)
• Cascaded Diffusion Models for High Fidelity Image Generation [53.57766722279425]
  本研究では,画像ネット生成の課題に対して,カスケード拡散モデルを用いて高忠実度画像を生成可能であることを示す。 カスケード拡散モデルは、解像度が増大する画像を生成する複数の拡散モデルのパイプラインを含む。 その結果,カスケードパイプラインのサンプル品質は,条件付拡張に大きく依存していることがわかった。
  論文  参考訳（メタデータ） (2021-05-30T17:14:52Z)
• Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
  本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。 特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
  論文  参考訳（メタデータ） (2020-03-02T13:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。