論文の概要: Deep Compression Autoencoder for Efficient High-Resolution Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.10733v1
• Date: Mon, 14 Oct 2024 17:15:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:55:21.233804
• Title: Deep Compression Autoencoder for Efficient High-Resolution Diffusion Models
• Title（参考訳）: 高分解能拡散モデルのためのディープ圧縮オートエンコーダ
• Authors: Junyu Chen, Han Cai, Junsong Chen, Enze Xie, Shang Yang, Haotian Tang, Muyang Li, Yao Lu, Song Han,
• Abstract要約: ディープ圧縮オートエンコーダ (DC-AE) は高分解能拡散モデルの高速化を目的とした新しいオートエンコーダモデルである。 遅延拡散モデルへの直流-AEの適用により,精度低下のない大幅な高速化を実現した。
• 参考スコア（独自算出の注目度）: 38.84567900296605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Deep Compression Autoencoder (DC-AE), a new family of autoencoder models for accelerating high-resolution diffusion models. Existing autoencoder models have demonstrated impressive results at a moderate spatial compression ratio (e.g., 8x), but fail to maintain satisfactory reconstruction accuracy for high spatial compression ratios (e.g., 64x). We address this challenge by introducing two key techniques: (1) Residual Autoencoding, where we design our models to learn residuals based on the space-to-channel transformed features to alleviate the optimization difficulty of high spatial-compression autoencoders; (2) Decoupled High-Resolution Adaptation, an efficient decoupled three-phases training strategy for mitigating the generalization penalty of high spatial-compression autoencoders. With these designs, we improve the autoencoder's spatial compression ratio up to 128 while maintaining the reconstruction quality. Applying our DC-AE to latent diffusion models, we achieve significant speedup without accuracy drop. For example, on ImageNet 512x512, our DC-AE provides 19.1x inference speedup and 17.9x training speedup on H100 GPU for UViT-H while achieving a better FID, compared with the widely used SD-VAE-f8 autoencoder. Our code is available at https://github.com/mit-han-lab/efficientvit.
• Abstract（参考訳）: 本稿では,高分解能拡散モデルの高速化を目的とした,新しいオートエンコーダモデルであるDeep Compression Autoencoder (DC-AE)を提案する。 既存のオートエンコーダモデルは、中程度の空間圧縮比 (eg, 8x) で印象的な結果を示したが、高い空間圧縮比 (eg, 64x) に対して良好な再構成精度を維持することはできなかった。 本研究では,(1)空間圧縮型オートエンコーダの最適化の難しさを軽減するため,空間圧縮型オートエンコーダを用いた残差学習モデルの設計,(2)空間圧縮型オートエンコーダの一般化ペナルティを緩和する3段階学習戦略であるデカップリング型高分解能適応方式を提案する。 これらの設計により、再構成品質を維持しつつ、オートエンコーダの空間圧縮比を128まで改善する。 遅延拡散モデルへの直流-AEの適用により,精度低下のない大幅な高速化を実現した。 例えば、ImageNet 512x512では、私たちのDC-AEは、広く使用されているSD-VAE-f8オートエンコーダと比較して、UViT-H用のH100 GPU上で19.1倍の推論スピードアップと17.9倍のトレーニングスピードアップを提供します。 私たちのコードはhttps://github.com/mit-han-lab/efficientvit.comから入手可能です。

関連論文リスト

• Improving the Diffusability of Autoencoders [54.920783089085035]
  高品質な画像やビデオを生成するための主要なアプローチとして、潜伏拡散モデルが登場している。 我々は、現代のオートエンコーダのスペクトル分析を行い、その潜在空間における不規則な高周波成分を同定する。 我々は、この高周波成分が拡散合成プロセスの粗大な微細な性質に干渉し、生成品質を阻害する仮説を立てた。
  論文  参考訳（メタデータ） (2025-02-20T18:45:44Z)
• Large Motion Video Autoencoding with Cross-modal Video VAE [52.13379965800485]
  ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-12-23T18:58:24Z)
• Collaborative Decoding Makes Visual Auto-Regressive Modeling Efficient [52.96232442322824]
  CoDe(Collaborative Decoding)は、Visual Auto-Regressive (VAR)フレームワーク用に設計された、新しい効率的なデコーディング戦略である。 CoDeは、大規模でのパラメータ要求の大幅な削減と、異なるスケールでの排他的生成パターンという、2つの重要な観察に乗じている。 CoDeは1.7倍のスピードアップを実現し、メモリ使用量を約50%削減し、画像品質を1.95から1.98に改善した。
  論文  参考訳（メタデータ） (2024-11-26T15:13:15Z)
• Accelerating Learned Video Compression via Low-Resolution Representation Learning [18.399027308582596]
  低解像度表現学習に焦点を当てた学習ビデオ圧縮のための効率最適化フレームワークを提案する。 提案手法は,H.266参照ソフトウェアVTMの低遅延P構成と同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-23T12:02:57Z)
• Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
  我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。 また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。 得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:53Z)
• Low-complexity Deep Video Compression with A Distributed Coding Architecture [4.5885672744218]
  一般的な予測符号化に基づくビデオ圧縮手法は、時間的冗長性を低減するために重エンコーダに依存している。 従来の分散コーディング手法は、予測的コーディングとはかなりのパフォーマンスギャップに悩まされている。 本稿では,レート歪み特性を改善するために,最初のエンドツーエンドの分散ビデオ圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-21T05:34:04Z)
• Instance-Adaptive Video Compression: Improving Neural Codecs by Training on the Test Set [14.89208053104896]
  本稿では,インスタンス適応学習に基づくビデオ圧縮アルゴリズムを提案する。 送信される各ビデオシーケンスに対して、事前訓練された圧縮モデルを微調整する。 ネットワークサイズを70%削減しても,競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-11-19T16:25:34Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)
• Video compression with low complexity CNN-based spatial resolution adaptation [15.431248645312309]
  空間分解能適応は、全体的な符号化性能を改善するために、ビデオ圧縮に組み込むことができる。 エンコーダとデコーダ間の複雑性の柔軟な割り当てをサポートする新しいフレームワークが提案されている。
  論文  参考訳（メタデータ） (2020-07-29T10:20:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。