論文の概要: HiDiffusion: Unlocking Higher-Resolution Creativity and Efficiency in Pretrained Diffusion Models

• arxiv url: http://arxiv.org/abs/2311.17528v2
• Date: Mon, 29 Apr 2024 09:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 00:15:22.160570
• Title: HiDiffusion: Unlocking Higher-Resolution Creativity and Efficiency in Pretrained Diffusion Models
• Title（参考訳）: HiDiffusion: 予混合拡散モデルにおける高分解能の創造性と効率を解き放つ
• Authors: Shen Zhang, Zhaowei Chen, Zhenyu Zhao, Yuhao Chen, Yao Tang, Jiajun Liang,
• Abstract要約: HiDiffusionは、画像合成のためのチューニング不要な高解像度フレームワークである。 RAU-Netはオブジェクト重複を解決するために特徴マップサイズを動的に調整する。 MSW-MSAは、計算量を減らすために最適化されたウィンドウアテンションを利用する。
• 参考スコア（独自算出の注目度）: 13.68666823175341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have become a mainstream approach for high-resolution image synthesis. However, directly generating higher-resolution images from pretrained diffusion models will encounter unreasonable object duplication and exponentially increase the generation time. In this paper, we discover that object duplication arises from feature duplication in the deep blocks of the U-Net. Concurrently, We pinpoint the extended generation times to self-attention redundancy in U-Net's top blocks. To address these issues, we propose a tuning-free higher-resolution framework named HiDiffusion. Specifically, HiDiffusion contains Resolution-Aware U-Net (RAU-Net) that dynamically adjusts the feature map size to resolve object duplication and engages Modified Shifted Window Multi-head Self-Attention (MSW-MSA) that utilizes optimized window attention to reduce computations. we can integrate HiDiffusion into various pretrained diffusion models to scale image generation resolutions even to 4096x4096 at 1.5-6x the inference speed of previous methods. Extensive experiments demonstrate that our approach can address object duplication and heavy computation issues, achieving state-of-the-art performance on higher-resolution image synthesis tasks.
• Abstract（参考訳）: 拡散モデルは高解像度画像合成の主流のアプローチとなっている。 しかし、事前訓練された拡散モデルから直接高解像度画像を生成すると、不合理なオブジェクト重複が発生し、生成時間が指数関数的に増加する。 本稿では,U-Netの深部ブロックにおける特徴重複からオブジェクト重複が生じることを明らかにする。 同時に、U-Netのトップブロックの自己アテンション冗長性に長大な生成時間を指定する。 これらの問題に対処するために,HiDiffusion というチューニング不要な高分解能フレームワークを提案する。 特に、HiDiffusionには、オブジェクト重複を解決するために特徴マップサイズを動的に調整し、最適化されたウィンドウアテンションを利用して計算を減らし、修正されたシフトされたウィンドウマルチヘッド・セルフアタテンション(MSW-MSA)を利用するRAU-Net(Resolvation-Aware U-Net)が含まれている。 HiDiffusionを様々な事前学習拡散モデルに統合し、以前の手法の推論速度の1.5～6倍の速度で画像生成解像度を4096×4096まで拡張することができる。 大規模な実験により,高分解能画像合成タスクの最先端性能を達成し,オブジェクト重複や重い計算問題に対処できることが実証された。

関連論文リスト

• High-Precision Dichotomous Image Segmentation via Probing Diffusion Capacity [69.32473738284374]
  本稿では,拡散モデルにおける事前学習されたU-Netのポテンシャルを利用する拡散駆動セグメンテーションモデルDiffDISを提案する。 SDモデルに先立って、頑健な一般化機能とリッチで多目的な画像表現を活用することにより、高忠実で詳細な生成を保ちながら、推論時間を著しく短縮する。 DIS5Kデータセットの実験は、DiffDISの優位性を示し、合理化された推論プロセスを通じて最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-14T02:49:23Z)
• DiffuseHigh: Training-free Progressive High-Resolution Image Synthesis through Structure Guidance [11.44012694656102]
  テキストから画像への拡散モデルのような大規模生成モデルは、様々な領域で広く注目を集めている。 既存の大規模拡散モデルでは、最大1K解像度の画像を生成できる。 本稿では,高分解能画像の生成を導くために,生成した低分解能画像を完全に活用する新しいプログレッシブアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:10:31Z)
• Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models [26.926712014346432]
  本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• ScaleCrafter: Tuning-free Higher-Resolution Visual Generation with Diffusion Models [126.35334860896373]
  本研究では,事前学習した拡散モデルから,トレーニング画像サイズよりもはるかに高解像度で画像を生成する能力について検討する。 注意ベースや共同拡散アプローチのような、高分解能な生成のための既存の研究は、これらの問題にうまく対処できない。 本稿では,推論中の畳み込み知覚場を動的に調整できる簡易かつ効果的な再拡張法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T17:52:39Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Refusion: Enabling Large-Size Realistic Image Restoration with Latent-Space Diffusion Models [9.245782611878752]
  ネットワークアーキテクチャ、ノイズレベル、デノイングステップ、トレーニング画像サイズ、知覚/スケジューリングスコアなど、様々な面で拡散モデルを強化する。 また、復号処理のために元の入力からの高分解能情報を保存しつつ、低分解能潜時空間での拡散を行うU-Netベースの潜時拡散モデルを提案する。 これらの修正により、現実世界の影除去、HR非均一脱ハージング、ステレオ超解像、ボケ効果変換など、様々な画像復元タスクに拡散モデルを適用することができる。
  論文  参考訳（メタデータ） (2023-04-17T14:06:49Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• High-Resolution Image Editing via Multi-Stage Blended Diffusion [3.834509400202395]
  本稿では,事前学習した低分解能拡散モデルを用いてメガピクセル範囲の画像を編集する手法を提案する。 我々はまず,Blended Diffusionを用いて低解像度で画像を編集し,その後,高解像度モデルとBlended Diffusionを用いて複数のステージでアップスケールする。
  論文  参考訳（メタデータ） (2022-10-24T06:07:35Z)
• Dynamic Dual-Output Diffusion Models [100.32273175423146]
  反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。 この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。 近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
  論文  参考訳（メタデータ） (2022-03-08T11:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。