論文の概要: Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2501.01423v2
• Date: Mon, 06 Jan 2025 15:28:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 13:45:29.931527
• Title: Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models
• Title（参考訳）: リコンストラクション対ジェネレーション:潜在拡散モデルにおけるモデリング最適化ジレンマ
• Authors: Jingfeng Yao, Xinggang Wang,
• Abstract要約: 本稿では,視覚トークン化器のトレーニングにおいて,潜在空間と事前学習された視覚基盤モデルとの整合性を提案する。 提案するVA-VAEは遅延拡散モデルの再構成世代フロンティアを著しく拡張する。 私たちは、LightningDiTと呼ばれるトレーニング戦略とアーキテクチャ設計を改善した拡張DiTベースラインを構築します。
• 参考スコア（独自算出の注目度）: 34.15905637499148
• License:
• Abstract: Latent diffusion models with Transformer architectures excel at generating high-fidelity images. However, recent studies reveal an optimization dilemma in this two-stage design: while increasing the per-token feature dimension in visual tokenizers improves reconstruction quality, it requires substantially larger diffusion models and more training iterations to achieve comparable generation performance. Consequently, existing systems often settle for sub-optimal solutions, either producing visual artifacts due to information loss within tokenizers or failing to converge fully due to expensive computation costs. We argue that this dilemma stems from the inherent difficulty in learning unconstrained high-dimensional latent spaces. To address this, we propose aligning the latent space with pre-trained vision foundation models when training the visual tokenizers. Our proposed VA-VAE (Vision foundation model Aligned Variational AutoEncoder) significantly expands the reconstruction-generation frontier of latent diffusion models, enabling faster convergence of Diffusion Transformers (DiT) in high-dimensional latent spaces. To exploit the full potential of VA-VAE, we build an enhanced DiT baseline with improved training strategies and architecture designs, termed LightningDiT. The integrated system achieves state-of-the-art (SOTA) performance on ImageNet 256x256 generation with an FID score of 1.35 while demonstrating remarkable training efficiency by reaching an FID score of 2.11 in just 64 epochs--representing an over 21 times convergence speedup compared to the original DiT. Models and codes are available at: https://github.com/hustvl/LightningDiT.
• Abstract（参考訳）: トランスフォーマーアーキテクチャを用いた潜時拡散モデルは高忠実度画像の生成に優れる。 しかし、近年の研究では、この2段階の設計における最適化のジレンマが明らかにされている: 視覚的トークン化器におけるトーケン機能次元の増大は、再構成品質を向上させるが、それと同等な生成性能を達成するためには、かなり大きな拡散モデルとより多くの訓練反復が必要である。 その結果、既存のシステムは、トークン化装置内の情報損失による視覚的アーティファクトを生成するか、高価な計算コストのために完全に収束しないという、最適以下のソリューションに落ち着く。 このジレンマは、制約のない高次元の潜在空間を学習する際の固有の困難に起因すると我々は主張する。 そこで本稿では,視覚トークン化器のトレーニングにおいて,事前学習した視覚基盤モデルと潜伏空間の整合性を提案する。 提案したVA-VAE (Vision foundation model Aligned Variational AutoEncoder) は、遅延拡散モデルの再構成・生成フロンティアを著しく拡張し、高次元潜在空間における拡散変換器(DiT)の高速収束を可能にする。 VA-VAEの潜在能力を最大限に活用するために、LightningDiTと呼ばれるトレーニング戦略とアーキテクチャ設計を改善した拡張DiTベースラインを構築した。 統合システムは、FIDスコアが1.35のImageNet 256x256世代上でのSOTA(State-of-the-art)性能を実現し、64エポックでFIDスコアが2.11に達し、元のDiTに比べて21倍以上のコンバージェンススピードアップを示した。 モデルとコードは、https://github.com/hustvl/LightningDiT.comで入手できる。

関連論文リスト

• Boosting Latent Diffusion with Perceptual Objectives [29.107038084215514]
  遅延拡散モデル (LDMs) パワー・オブ・ザ・アート高分解能画像モデル。 我々は,遅延知覚損失(LPL)を定義するためにデコーダの内部的特徴を活用することを提案する。 この損失により、モデルはよりシャープでリアルなイメージを作成することができる。
  論文  参考訳（メタデータ） (2024-11-06T16:28:21Z)
• ARLON: Boosting Diffusion Transformers with Autoregressive Models for Long Video Generation [83.62931466231898]
  本稿では,長期ビデオ生成のための自己回帰モデルを用いた拡散変換器を高速化するフレームワークARLONを提案する。 潜在ベクトル量子変分オートコーダ(VQ-VAE)は、DiTモデルの入力潜時空間をコンパクトなビジュアルトークンに圧縮する。 適応ノルムベースのセマンティックインジェクションモジュールは、ARモデルから粗い離散視覚ユニットをDiTモデルに統合する。
  論文  参考訳（メタデータ） (2024-10-27T16:28:28Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  本稿では,非自己回帰型マスク画像モデリング(MIM)をSDXLのような最先端拡散モデルに匹敵するレベルまで高めるMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いる。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
  画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。 実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。 我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-29T07:14:16Z)
• LinFusion: 1 GPU, 1 Minute, 16K Image [71.44735417472043]
  我々は,広く普及している線形トークンミキサーの低ランク近似を導入する。 蒸留したLinFusionは,元のSDと同等以上の性能を示す。 SD-v1.5、SD-v2.1、SD-XLの実験は、LinFusionが良好なゼロショットクロスレゾリューション生成を可能にすることを示した。
  論文  参考訳（メタデータ） (2024-09-03T17:54:39Z)
• Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models and Time-Dependent Layer Normalization [26.926712014346432]
  本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
  一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。 この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
  論文  参考訳（メタデータ） (2023-12-05T11:55:47Z)
• DiffSCI: Zero-Shot Snapshot Compressive Imaging via Iterative Spectral Diffusion Model [18.25548360119976]
  マルチスペクトル画像(MSI)におけるスナップショット圧縮画像(SCI)再構成の精度向上を目指した。 DiffSCIと呼ばれる新しいゼロショット拡散モデルを提案する。 我々は,DiffSCIが自己監督的,ゼロショット的アプローチよりも顕著な性能向上を示すことを示すため,広範囲な試験を行った。
  論文  参考訳（メタデータ） (2023-11-19T20:27:14Z)
• StraIT: Non-autoregressive Generation with Stratified Image Transformer [63.158996766036736]
  Stratified Image Transformer(StraIT)は、純粋な非自己回帰(NAR)生成モデルである。 実験の結果,StraIT は NAR 生成を著しく改善し,既存の DM および AR 手法より優れていた。
  論文  参考訳（メタデータ） (2023-03-01T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。