論文の概要: H3AE: High Compression, High Speed, and High Quality AutoEncoder for Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2504.10567v1
• Date: Mon, 14 Apr 2025 17:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:06:53.521798
• Title: H3AE: High Compression, High Speed, and High Quality AutoEncoder for Video Diffusion Models
• Title（参考訳）: H3AE:ビデオ拡散モデルのための高速・高速・高品質オートエンコーダ
• Authors: Yushu Wu, Yanyu Li, Ivan Skorokhodov, Anil Kag, Willi Menapace, Sharath Girish, Aliaksandr Siarohin, Yanzhi Wang, Sergey Tulyakov,
• Abstract要約: オートエンコーダ(AE)は、画像およびビデオ生成のための潜時拡散モデルの成功の鍵である。 本研究では,アーキテクチャ設計の選択について検討し,効率的な高圧縮ビデオAEを得るために計算分布を最適化する。 我々のAEは、モバイル上での超高圧縮比とリアルタイム復号化速度を達成しつつ、再現率の点で先行技術より優れています。
• 参考スコア（独自算出の注目度）: 76.1519545010611
• License:
• Abstract: Autoencoder (AE) is the key to the success of latent diffusion models for image and video generation, reducing the denoising resolution and improving efficiency. However, the power of AE has long been underexplored in terms of network design, compression ratio, and training strategy. In this work, we systematically examine the architecture design choices and optimize the computation distribution to obtain a series of efficient and high-compression video AEs that can decode in real time on mobile devices. We also unify the design of plain Autoencoder and image-conditioned I2V VAE, achieving multifunctionality in a single network. In addition, we find that the widely adopted discriminative losses, i.e., GAN, LPIPS, and DWT losses, provide no significant improvements when training AEs at scale. We propose a novel latent consistency loss that does not require complicated discriminator design or hyperparameter tuning, but provides stable improvements in reconstruction quality. Our AE achieves an ultra-high compression ratio and real-time decoding speed on mobile while outperforming prior art in terms of reconstruction metrics by a large margin. We finally validate our AE by training a DiT on its latent space and demonstrate fast, high-quality text-to-video generation capability.
• Abstract（参考訳）: オートエンコーダ(AE)は、画像およびビデオ生成のための潜時拡散モデルの成功の鍵であり、分解能を低減し、効率を向上させる。 しかし、AEのパワーは、ネットワーク設計、圧縮比、トレーニング戦略の点で長い間過小評価されてきた。 本研究では,アーキテクチャ設計の選択を体系的に検討し,計算分布を最適化し,モバイル端末上でリアルタイムにデコード可能な,効率的かつ高圧縮なビデオAEを得る。 また,平易なオートエンコーダとイメージコンディショニングされたI2V VAEの設計を統一し,単一ネットワークにおける多機能性を実現する。 さらに, GAN, LPIPS, DWT損失など広く採用されている差別的損失は, AEsを大規模に訓練する際の大幅な改善にはならないことがわかった。 本稿では,複雑な識別器設計やハイパーパラメータチューニングを必要としない新しい遅延整合性損失を提案する。 AEはモバイル上での超高速圧縮率とリアルタイム復号化速度を達成し,再現率の点で先行技術よりも高い性能を実現した。 我々は最終的に、DiTを潜在空間でトレーニングし、高速で高品質なテキスト・ビデオ生成能力を実証することで、AEを検証する。

関連論文リスト

• RL-RC-DoT: A Block-level RL agent for Task-Aware Video Compression [68.31184784672227]
  自律運転のような現代的なアプリケーションでは、圧倒的多数のビデオがタスクを実行するAIシステムの入力として機能する。 したがって、画像の品質ではなく、下流タスクのためにエンコーダを最適化することが有用である。 ここでは、下流タスクを最適化するために、マクロブロックレベルで量子化パラメータ(QP)を制御することで、この問題に対処する。
  論文  参考訳（メタデータ） (2025-01-21T15:36:08Z)
• Large Motion Video Autoencoding with Cross-modal Video VAE [52.13379965800485]
  ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-12-23T18:58:24Z)
• Deep Compression Autoencoder for Efficient High-Resolution Diffusion Models [38.84567900296605]
  ディープ圧縮オートエンコーダ (DC-AE) は高分解能拡散モデルの高速化を目的とした新しいオートエンコーダモデルである。 遅延拡散モデルへの直流-AEの適用により,精度低下のない大幅な高速化を実現した。
  論文  参考訳（メタデータ） (2024-10-14T17:15:07Z)
• An Efficient Implicit Neural Representation Image Codec Based on Mixed Autoregressive Model for Low-Complexity Decoding [43.43996899487615]
  画像圧縮のためのインプシットニューラル表現(INR)は、最先端のオートエンコーダモデルと比較して2つの重要な利点を提供する新興技術である。 我々は、現在のINRの復号時間を大幅に削減するために、新しいMixed AutoRegressive Model (MARM)を導入する。 MARMには提案したAutoRegressive Upsampler(ARU)ブロックが含まれている。
  論文  参考訳（メタデータ） (2024-01-23T09:37:58Z)
• Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly Detectors [117.61449210940955]
  ビデオフレームレベルで適用された軽量マスク付きオートエンコーダ(AE)に基づく効率的な異常事象検出モデルを提案する。 動き勾配に基づく重みトークンへのアプローチを導入し、静的背景シーンから前景オブジェクトへ焦点を移す。 トレーニングビデオの強化のために合成異常事象を生成し,マスク付きAEモデルを用いてオリジナルのフレームを共同で再構築する。
  論文  参考訳（メタデータ） (2023-06-21T06:18:05Z)
• Data-Model-Circuit Tri-Design for Ultra-Light Video Intelligence on Edge Devices [90.30316433184414]
  本稿では,HDビデオストリーム上での高スループット,低コスト,高精度MOTのためのデータモデル・ハードウエア・トリデザイン・フレームワークを提案する。 現状のMOTベースラインと比較して、我々の三設計アプローチは12.5倍の遅延低減、20.9倍のフレームレート改善、5.83倍の低消費電力、9.78倍のエネルギー効率を実現でき、精度は低下しない。
  論文  参考訳（メタデータ） (2022-10-16T16:21:40Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)
• A Unified End-to-End Framework for Efficient Deep Image Compression [35.156677716140635]
  本稿では,3つの新しい技術に基づくEDIC(Efficient Deep Image Compression)という統合フレームワークを提案する。 具体的には、学習に基づく画像圧縮のためのオートエンコーダスタイルのネットワークを設計する。 EDIC法は,映像圧縮性能を向上させるために,Deep Video Compression (DVC) フレームワークに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2020-02-09T14:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。