論文の概要: Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models and Time-Dependent Layer Normalization

• arxiv url: http://arxiv.org/abs/2406.09416v2
• Date: Thu, 28 Nov 2024 05:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:16:26.296509
• Title: Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models and Time-Dependent Layer Normalization
• Title（参考訳）: 多解拡散モデルと時間依存層正規化による画像生成の歪み軽減
• Authors: Qihao Liu, Zhanpeng Zeng, Ju He, Qihang Yu, Xiaohui Shen, Liang-Chieh Chen,
• Abstract要約: 本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
• 参考スコア（独自算出の注目度）: 26.926712014346432
• License:
• Abstract: This paper presents innovative enhancements to diffusion models by integrating a novel multi-resolution network and time-dependent layer normalization. Diffusion models have gained prominence for their effectiveness in high-fidelity image generation. While conventional approaches rely on convolutional U-Net architectures, recent Transformer-based designs have demonstrated superior performance and scalability. However, Transformer architectures, which tokenize input data (via "patchification"), face a trade-off between visual fidelity and computational complexity due to the quadratic nature of self-attention operations concerning token length. While larger patch sizes enable attention computation efficiency, they struggle to capture fine-grained visual details, leading to image distortions. To address this challenge, we propose augmenting the Diffusion model with the Multi-Resolution network (DiMR), a framework that refines features across multiple resolutions, progressively enhancing detail from low to high resolution. Additionally, we introduce Time-Dependent Layer Normalization (TD-LN), a parameter-efficient approach that incorporates time-dependent parameters into layer normalization to inject time information and achieve superior performance. Our method's efficacy is demonstrated on the class-conditional ImageNet generation benchmark, where DiMR-XL variants outperform prior diffusion models, setting new state-of-the-art FID scores of 1.70 on ImageNet 256 x 256 and 2.89 on ImageNet 512 x 512. Project page: https://qihao067.github.io/projects/DiMR
• Abstract（参考訳）: 本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 高忠実度画像生成における拡散モデルの有効性が注目されている。 従来のアプローチは畳み込みU-Netアーキテクチャに依存していたが、最近のTransformerベースの設計では性能とスケーラビリティが向上している。 しかし、入力データをトークン化するトランスフォーマーアーキテクチャは、トークン長に関する自己注意操作の二次的な性質のため、視覚的忠実度と計算複雑性のトレードオフに直面している。 パッチサイズが大きくなれば、注意力の計算効率が向上するが、細粒度の視覚的詳細を捉えるのに苦労し、画像の歪みを生じさせる。 この課題に対処するために,複数の解像度にまたがって機能を洗練し,低解像度から高解像度まで詳細を段階的に向上するフレームワークであるMulti-Resolution Network (DiMR)による拡散モデルの拡張を提案する。 さらに,時間依存型階層正規化(TD-LN)を導入し,時間依存型パラメータを階層正規化に組み込んで時間情報を注入し,優れた性能を実現する。 提案手法の有効性は,ImageNet 256 x 256,ImageNet 512 x 512では2.89,ImageNet 256 x 512では1.70,DMR-XL 変種が先行拡散モデルより優れていた。 プロジェクトページ:https://qihao067.github.io/projects/DiMR

関連論文リスト

• Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
  画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。 実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。 我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-29T07:14:16Z)
• Lightweight single-image super-resolution network based on dual paths [0.552480439325792]
  ディープラーニングのシングルイメージ超解像(SISR)アルゴリズムには,畳み込みニューラルネットワークとTransformerに基づく2つのモデルがある。 本稿では,2方向相補的畳み込みとトランスフォーマーに基づく,軽量なマルチスケール機能融合ネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2024-09-10T15:31:37Z)
• LinFusion: 1 GPU, 1 Minute, 16K Image [71.44735417472043]
  我々は,広く普及している線形トークンミキサーの低ランク近似を導入する。 蒸留したLinFusionは,元のSDと同等以上の性能を示す。 SD-v1.5、SD-v2.1、SD-XLの実験は、LinFusionが良好なゼロショットクロスレゾリューション生成を可能にすることを示した。
  論文  参考訳（メタデータ） (2024-09-03T17:54:39Z)
• DiM: Diffusion Mamba for Efficient High-Resolution Image Synthesis [56.849285913695184]
  Diffusion Mamba (DiM) は高分解能画像合成のためのシーケンスモデルである。 DiMアーキテクチャは高解像度画像の推論時間効率を実現する。 実験は、我々のDiMの有効性と効率を実証する。
  論文  参考訳（メタデータ） (2024-05-23T06:53:18Z)
• SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions [5.100085108873068]
  SDXS-512 と SDXS-1024 の2つのモデルを示し,1つのGPU上で約100 FPS (SD v1.5 より30倍速い) と30 FPS (SDXLより60倍速い) の推論速度を実現する。 我々のトレーニングアプローチは、画像条件付き制御に有望な応用を提供し、画像間の効率的な翻訳を容易にする。
  論文  参考訳（メタデータ） (2024-03-25T11:16:23Z)
• DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
  ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
  論文  参考訳（メタデータ） (2023-12-04T18:57:01Z)
• HiDiffusion: Unlocking Higher-Resolution Creativity and Efficiency in Pretrained Diffusion Models [13.68666823175341]
  HiDiffusionは、画像合成のためのチューニング不要な高解像度フレームワークである。 RAU-Netはオブジェクト重複を解決するために特徴マップサイズを動的に調整する。 MSW-MSAは、計算量を減らすために最適化されたウィンドウアテンションを利用する。
  論文  参考訳（メタデータ） (2023-11-29T11:01:38Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Improved Transformer for High-Resolution GANs [69.42469272015481]
  この課題に対処するために、Transformerに2つの重要な要素を紹介します。 実験で提案したHiTは、条件のないImageNetの31.87と2.95のFIDスコアをそれぞれ128×128$とFFHQの256×256$で達成していることを示す。
  論文  参考訳（メタデータ） (2021-06-14T17:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。