論文の概要: Inf-DiT: Upsampling Any-Resolution Image with Memory-Efficient Diffusion Transformer

• arxiv url: http://arxiv.org/abs/2405.04312v2
• Date: Wed, 8 May 2024 07:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 11:24:40.982537
• Title: Inf-DiT: Upsampling Any-Resolution Image with Memory-Efficient Diffusion Transformer
• Title（参考訳）: Inf-DiT:メモリ効率のよい拡散変換器による任意の解像のアップサンプリング
• Authors: Zhuoyi Yang, Heyang Jiang, Wenyi Hong, Jiayan Teng, Wendi Zheng, Yuxiao Dong, Ming Ding, Jie Tang,
• Abstract要約: 本研究では,推論プロセス中にメモリオーバーヘッドを調整する一方向ブロックアテンション機構を提案する。 このモジュール上に構築したDiT構造をアップサンプリングし、無限超解像モデルを開発する。 我々のモデルは, マシンと人両方の評価において, 超高解像度画像を生成するためにSOTA性能を実現する。
• 参考スコア（独自算出の注目度）: 36.715376148053785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have shown remarkable performance in image generation in recent years. However, due to a quadratic increase in memory during generating ultra-high-resolution images (e.g. 4096*4096), the resolution of generated images is often limited to 1024*1024. In this work. we propose a unidirectional block attention mechanism that can adaptively adjust the memory overhead during the inference process and handle global dependencies. Building on this module, we adopt the DiT structure for upsampling and develop an infinite super-resolution model capable of upsampling images of various shapes and resolutions. Comprehensive experiments show that our model achieves SOTA performance in generating ultra-high-resolution images in both machine and human evaluation. Compared to commonly used UNet structures, our model can save more than 5x memory when generating 4096*4096 images. The project URL is https://github.com/THUDM/Inf-DiT.
• Abstract（参考訳）: 近年,拡散モデルは画像生成において顕著な性能を示した。 しかし、超高解像度画像(例えば4096*4096)の生成中のメモリの2次増加により、生成された画像の解像度は1024*1024に制限されることが多い。 この作品。 我々は,推論プロセス中にメモリオーバーヘッドを適応的に調整し,グローバルな依存関係を処理できる一方向ブロックアテンション機構を提案する。 このモジュール上に構築したDiT構造を用いて,様々な形状や解像度の画像のアップサンプリングが可能な無限超解像モデルを開発した。 包括的実験により,本モデルは,マシンと人の両方で超高解像度画像を生成する上で,SOTA性能を実現することが示された。 一般的なUNet構造と比較して、4096*4096画像を生成する場合、我々のモデルは5倍以上のメモリを保存できる。 プロジェクトのURLはhttps://github.com/THUDM/Inf-DiT。

関連論文リスト

• Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models [26.926712014346432]
  本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• DiM: Diffusion Mamba for Efficient High-Resolution Image Synthesis [56.849285913695184]
  Diffusion Mamba (DiM) は高分解能画像合成のためのシーケンスモデルである。 DiMアーキテクチャは高解像度画像の推論時間効率を実現する。 実験は、我々のDiMの有効性と効率を実証する。
  論文  参考訳（メタデータ） (2024-05-23T06:53:18Z)
• HiDiffusion: Unlocking Higher-Resolution Creativity and Efficiency in Pretrained Diffusion Models [13.68666823175341]
  HiDiffusionは、画像合成のためのチューニング不要な高解像度フレームワークである。 RAU-Netはオブジェクト重複を解決するために特徴マップサイズを動的に調整する。 MSW-MSAは、計算量を減らすために最適化されたウィンドウアテンションを利用する。
  論文  参考訳（メタデータ） (2023-11-29T11:01:38Z)
• Matryoshka Diffusion Models [38.26966802461602]
  拡散モデルは、高品質の画像やビデオを生成するデファクトアプローチである。 本稿では,高解像度画像とビデオ合成のためのエンドツーエンドフレームワークであるMatryoshka Diffusion Modelsを紹介する。 本稿では,クラス条件付き画像生成,高解像度テキスト・ツー・イメージ,テキスト・ツー・ビデオアプリケーションなど,様々なベンチマークにおけるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-23T17:20:01Z)
• ScaleCrafter: Tuning-free Higher-Resolution Visual Generation with Diffusion Models [126.35334860896373]
  本研究では,事前学習した拡散モデルから,トレーニング画像サイズよりもはるかに高解像度で画像を生成する能力について検討する。 注意ベースや共同拡散アプローチのような、高分解能な生成のための既存の研究は、これらの問題にうまく対処できない。 本稿では,推論中の畳み込み知覚場を動的に調整できる簡易かつ効果的な再拡張法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T17:52:39Z)
• Any-Size-Diffusion: Toward Efficient Text-Driven Synthesis for Any-Size HD Images [56.17404812357676]
  テキストと画像の合成に使用される生成モデルである安定拡散は、様々なサイズの画像を生成する際にしばしば構成問題に遭遇する。 そこで我々は,任意の大きさの画像を効率よく生成するために,Any-Size-Diffusion (ASD) という2段階のパイプラインを提案する。 ASDは任意のサイズの画像を生成することができ、従来のタイル付きアルゴリズムと比較して推論時間を2倍削減できることを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:27:56Z)
• CUF: Continuous Upsampling Filters [25.584630142930123]
  本稿では,画像処理における最も重要な操作の一つとして,アップサンプリングについて考察する。 本稿では、アップサンプリングカーネルをニューラルネットワークとしてパラメータ化することを提案する。 このパラメータ化により、競合する任意のスケールの超解像アーキテクチャと比較して40倍のパラメータ数の削減が得られる。
  論文  参考訳（メタデータ） (2022-10-13T12:45:51Z)
• Any-resolution Training for High-resolution Image Synthesis [55.19874755679901]
  生成モデルは、様々な大きさの自然画像であっても、一定の解像度で動作します。 すべてのピクセルが重要であり、そのネイティブ解像度で収集された可変サイズのイメージを持つデータセットを作成する、と我々は主張する。 ランダムなスケールでパッチをサンプリングし、可変出力解像度で新しいジェネレータを訓練するプロセスである。
  論文  参考訳（メタデータ） (2022-04-14T17:59:31Z)
• Cascaded Diffusion Models for High Fidelity Image Generation [53.57766722279425]
  本研究では,画像ネット生成の課題に対して,カスケード拡散モデルを用いて高忠実度画像を生成可能であることを示す。 カスケード拡散モデルは、解像度が増大する画像を生成する複数の拡散モデルのパイプラインを含む。 その結果,カスケードパイプラインのサンプル品質は,条件付拡張に大きく依存していることがわかった。
  論文  参考訳（メタデータ） (2021-05-30T17:14:52Z)
• Memory-efficient GAN-based Domain Translation of High Resolution 3D Medical Images [0.15092198588928965]
  GAN(Generative Adversarial Network)は大規模な3次元医療画像にはほとんど適用されない。 本研究は、未ペアドメイン翻訳を確立するためのマルチスケールパッチベースのGANアプローチを提案する。 ドメイン翻訳シナリオの評価は155x240x240の脳MRIと最大512x512x512の胸部CTで行う。
  論文  参考訳（メタデータ） (2020-10-06T08:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。