論文の概要: DA-VAE: Plug-in Latent Compression for Diffusion via Detail Alignment

• arxiv url: http://arxiv.org/abs/2603.22125v1
• Date: Mon, 23 Mar 2026 15:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.764134
• Title: DA-VAE: Plug-in Latent Compression for Diffusion via Detail Alignment
• Title（参考訳）: DA-VAE:ディテールアライメントによる拡散に対するプラグイン遅延圧縮
• Authors: Xin Cai, Zhiyuan You, Zhoutong Zhang, Tianfan Xue,
• Abstract要約: 我々は、事前訓練された拡散バックボーンの軽量化のみで、事前訓練されたVAEの圧縮比を増加させるtextbfDetail-textbfAligned VAEを提案する。 ウォームスタートの微調整戦略により,従来のモデルよりわずか32ドル安い32ドルトークンをわずか32ドル(約3,200円)で,安定拡散3.5で1024ドル(1024ドル)の画像生成が可能となった。
• 参考スコア（独自算出の注目度）: 26.049348476631206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reducing token count is crucial for efficient training and inference of latent diffusion models, especially at high resolution. A common strategy is to build high-compression image tokenizers with more channels per token. However, when trained only for reconstruction, high-dimensional latent spaces often lose meaningful structure, making diffusion training harder. Existing methods address this with extra objectives such as semantic alignment or selective dropout, but usually require costly diffusion retraining. Pretrained diffusion models, however, already exhibit a structured, lower-dimensional latent space; thus, a simpler idea is to expand the latent dimensionality while preserving this structure. We therefore propose \textbf{D}etail-\textbf{A}ligned VAE, which increases the compression ratio of a pretrained VAE with only lightweight adaptation of the pretrained diffusion backbone. DA-VAE uses an explicit latent layout: the first $C$ channels come directly from the pretrained VAE at a base resolution, while an additional $D$ channels encode higher-resolution details. A simple detail-alignment mechanism encourages the expanded latent space to retain the structure of the original one. With a warm-start fine-tuning strategy, our method enables $1024 \times 1024$ image generation with Stable Diffusion 3.5 using only $32 \times 32$ tokens, $4\times$ fewer than the original model, within 5 H100-days. It further unlocks $2048 \times 2048$ generation with SD3.5, achieving a $6\times$ speedup while preserving image quality. We also validate the method and its design choices quantitatively on ImageNet.
• Abstract（参考訳）: トークン数を減らすことは、特に高解像度での遅延拡散モデルの効率的なトレーニングと推論に不可欠である。 一般的な戦略は、トークン毎により多くのチャネルを持つ高圧縮画像トークンライザを構築することである。 しかし、再構成のみの訓練では、高次元の潜伏空間は意味のある構造を失うことが多く、拡散訓練が困難になる。 既存の手法では、セマンティックアライメントや選択的なドロップアウトのような追加の目的でこの問題に対処するが、通常はコストのかかる拡散再訓練を必要とする。 しかし、事前制限された拡散モデルは、既に構造的かつ低次元の潜在空間を示しており、したがって、より単純な考え方は、この構造を保ちながら潜在次元を拡張することである。 そこで本稿では, 予め訓練した拡散バックボーンの軽量な適応のみで, プレトレーニングされたVAEの圧縮比を増大させる<textbf{D}etail-\textbf{A}liged VAEを提案する。 最初の$C$チャネルは、事前訓練されたVAEから直接ベース解像度で、追加の$D$チャネルは高解像度の詳細をエンコードする。 単純な詳細調整機構は、拡張された潜在空間が元の空間の構造を維持することを奨励する。 提案手法では,32ドルトークンの32ドルトークンを32ドル(約3万3000円)で32ドル(約4万3000円)で,5H100日以内に1024ドル(約1万1000円)の1024ドル(約1万1000円)の画像を生成できる。 さらに、SD3.5で2048ドル(約2万2000円)の2048ドル(約2万2000円)で、画質を保ちながら6ドル(約6万5000円)のスピードアップを実現しています。 また、ImageNet上で、その方法とその設計選択を定量的に検証する。

関連論文リスト

• DiT-IC: Aligned Diffusion Transformer for Efficient Image Compression [56.68267606568949]
  DiT-ICは画像圧縮用アライメント拡散変換器である。 U-NetをDiffusion Transformerに置き換え、32倍のダウンスケール解像度で遅延空間での拡散を可能にする。 16GBのラップトップGPUで2048x2048画像を再構成できる。
  論文  参考訳（メタデータ） (2026-03-13T16:56:00Z)
• Diffusion As Self-Distillation: End-to-End Latent Diffusion In One Model [53.77953728335891]
  ラテント拡散モデルは、独立したエンコーダ、デコーダ、拡散ネットワークからなる複雑な3部アーキテクチャに依存している。 本研究では,潜伏空間を安定化させる学習目標に重要な変更を加えた新たなフレームワークであるDeffusion as Self-Distillation (DSD)を提案する。 このアプローチにより、単一のネットワークの安定したエンドツーエンドトレーニングが初めて実現され、同時にエンコード、デコード、拡散の実行を学ぶことができる。
  論文  参考訳（メタデータ） (2025-11-18T17:58:16Z)
• Fine-structure Preserved Real-world Image Super-resolution via Transfer VAE Training [14.058527210122831]
  我々は、事前訓練されたUNetに適応しつつ、8$times$ダウンサンプルのVAEを4$times$1に転送するためのTransfer VAE Training(TVT)戦略を提案する。 TVT戦略は、新しいエンコーダとデコーダのペアを元のVAEラテント空間と整合させ、画像の細部を拡大する。
  論文  参考訳（メタデータ） (2025-07-27T14:11:29Z)
• Finding Local Diffusion Schrödinger Bridge using Kolmogorov-Arnold Network [7.651628106346734]
  本稿では,拡散路部分空間における局所拡散Schr"odinger Bridges (LDSB) の発見を初めて提案する。 実験の結果,LDSBは同じトレーニング済みのデノナイジングネットワークを用いて,画像生成の品質と効率を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-02-27T04:34:03Z)
• Diffusion Models Need Visual Priors for Image Generation [86.92260591389818]
  Diffusion on Diffusion (DoD)は、先述したサンプルから視覚的先行情報を抽出し、拡散モデルのための豊富なガイダンスを提供する革新的な多段階生成フレームワークである。 我々は、人気のあるImageNet-$256 256$データセット上でDoDを評価し、SiTやDiTと比較して7$times$トレーニングコストを削減した。 私たちの最大のモデルであるDoD-XLは、FID-50Kスコアが1.83で、100万のトレーニングステップしか達成していません。
  論文  参考訳（メタデータ） (2024-10-11T05:03:56Z)
• PaGoDA: Progressive Growing of a One-Step Generator from a Low-Resolution Diffusion Teacher [55.22994720855957]
  PaGoDAは、ダウンサンプルデータ上でのトレーニング拡散、事前訓練された拡散の蒸留、プログレッシブ超解像という3段階のトレーニングコストを削減した、新しいパイプラインである。 提案されたパイプラインでは、PaGoDAは8倍のサンプルデータで拡散モデルをトレーニングするコストを64倍に削減する。 PaGoDAのパイプラインは、遅延空間で直接適用することができ、遅延拡散モデルで事前訓練されたオートエンコーダと共に圧縮を追加する。
  論文  参考訳（メタデータ） (2024-05-23T17:39:09Z)
• Cross-view Masked Diffusion Transformers for Person Image Synthesis [21.242398582282522]
  ポーズ誘導画像生成のための新しい拡散モデルであるX-MDPTを提案する。 X-MDPTは、潜伏パッチで動作するマスク付き拡散トランスフォーマーを用いて、自分自身を区別する。 我々のモデルはDeepFashionデータセットにおける最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2024-02-02T15:57:13Z)
• Patch Diffusion: Faster and More Data-Efficient Training of Diffusion Models [166.64847903649598]
  汎用的なパッチワイドトレーニングフレームワークであるPatch Diffusionを提案する。 Patch Diffusionは、データ効率を改善しながら、トレーニング時間を大幅に削減する。 我々は最先端のベンチマークと一致して優れたFIDスコアを得る。
  論文  参考訳（メタデータ） (2023-04-25T02:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。