論文の概要: GRACE: Generation-aware latent compression for efficient video generation

• arxiv url: http://arxiv.org/abs/2610.10524v1
• Date: Wed, 07 Oct 2026 17:57:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.098274
• Title: GRACE: Generation-aware latent compression for efficient video generation
• Title（参考訳）: GRACE:効率的なビデオ生成のための世代別潜在圧縮
• Abstract要約: 本稿では、事前訓練されたDiTと互換性を維持しつつ、事前訓練されたビデオオートエンコーダを圧縮する2段階のフレームワークを提案する。 具体的には、予め訓練したエンコーダから凍結したベース潜水器を保持し、強い圧縮下で失われた情報に対する残留潜水器を学習する。 次に、Ditを軽量な微調整と非対称なデノナイジングで調整し、ベースを残差より先にデノナイジングする。
• 参考スコア（独自算出の注目度）: 34.754240394952326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Highly compressed video autoencoders offer an effective way to accelerate video diffusion models, as the Diffusion Transformer (DiT) operates on far fewer tokens. However, such autoencoders are challenging to train, since a higher compression ratio degrades reconstruction quality and recovering it requires more channels, which is known to slow the convergence of the DiT. The compressed latent also differs from the one the DiT was trained on, so the pretrained DiT must be either retrained from scratch or adapted at considerable cost. Compressing the autoencoder the DiT was trained with appears to preserve compatibility, yet optimizing it for reconstruction alone still shifts the latent away from the distribution the DiT has learned. To address this, we propose Generation-Aware Latent Compression for Efficient Video Generation (GRACE), a two-stage framework that compresses a pretrained video autoencoder while keeping it compatible with the pretrained DiT. Specifically, we keep a frozen base latent from the pretrained encoder and learn a residual latent for the information lost under stronger compression, while aligning the compressed latent with the pretrained latent in the feature space of the frozen DiT so that the autoencoder is optimized for generation. We then adapt the DiT with lightweight fine-tuning and asymmetric denoising, where the base is denoised ahead of the residual. GRACE reduces the token count of Wan2.1-I2V-14B by 8x and its latency by 11.1x at 480x832x81, while matching the generation quality of the pretrained pipeline before compression on VBench.
• Abstract（参考訳）: 高圧縮ビデオオートエンコーダは、Diffusion Transformer (DiT) がはるかに少ないトークンで動作するため、ビデオ拡散モデルを加速する効果的な方法を提供する。 しかし、これらのオートエンコーダは、高い圧縮比が復元品質を低下させ、回復するのにより多くのチャンネルを必要とするため、トレーニングが困難である。 圧縮された潜水剤は、DiTが訓練されたものとは異なるため、事前訓練されたDiTは、スクラッチから再訓練するか、かなりのコストで適応しなければならない。 DiTがトレーニングしたオートエンコーダを圧縮すると、互換性が保たれるように見えるが、再構築のみに最適化することは、DiTが学んだディストリビューションから遅延を逸脱させる。 そこで本稿では,プレトレーニング済みビデオオートエンコーダを圧縮し,プレトレーニング済みのDiTと互換性を維持しつつ,2段階のフレームワークであるGRACE(Generation-Aware Latent Compression for Efficient Video Generation)を提案する。 具体的には、予め訓練したエンコーダから凍結したベース潜水器を保持し、圧縮された潜水器と凍結したDiTの特徴空間の事前訓練された潜水器を整列させ、オートエンコーダを生成に最適化した上で、強い圧縮下で失われた情報に対する残留潜水器を学習する。 次に、Ditを軽量な微調整と非対称なデノナイジングで調整し、ベースを残差より先にデノナイジングする。 GRACEは、Wan2.1-I2V-14Bのトークン数を8倍に減らし、そのレイテンシを480x832x81で11.1倍削減し、VBenchで圧縮する前に事前訓練されたパイプラインの生成品質と一致する。

関連論文リスト

• ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors [52.50325804778549]
  我々はゼロショット生成ビデオ圧縮フレームワークZeroGVCを提案する。 ZeroGVCは、画像群(GOP)の最初のフレームを符号化し、Codebook-Guided Autoregressive Latent Compressionを通じてその後のPフレームを表現する。 標準ビデオ圧縮ベンチマークの実験では、ZeroGVCは、追加のトレーニングを伴わずに、超低速度での知覚的再構成品質が優れたことを実証している。
  論文  参考訳（メタデータ） (2026-06-21T07:46:14Z)
• DiT-IC: Aligned Diffusion Transformer for Efficient Image Compression [56.68267606568949]
  DiT-ICは画像圧縮用アライメント拡散変換器である。 U-NetをDiffusion Transformerに置き換え、32倍のダウンスケール解像度で遅延空間での拡散を可能にする。 16GBのラップトップGPUで2048x2048画像を再構成できる。
  論文  参考訳（メタデータ） (2026-03-13T16:56:00Z)
• Adaptive 1D Video Diffusion Autoencoder [44.70149252636057]
  適応型1次元符号化と拡散型デコードのためのトランスフォーマベースのフレームワークである1次元拡散ビデオ自動符号化(One-DVA)を提案する。 1-DVAは3D-CNN VAEと同等の性能を同じ圧縮比で再現する。 さらに、生成過程によって生じる人工物を軽減するために、生成モデルのためのOne-DVA潜伏分布を規則化し、デコーダを微調整する。
  論文  参考訳（メタデータ） (2026-02-04T05:11:12Z)
• TerraCodec: Compressing Earth Observations [21.875360434422387]
  地球観測衛星に適した学習コーデックであるTerraCodec(TEC)を紹介する。 TECには、マルチスペクトル入力に適応した効率的な画像ベースの変種と、テンポラルトランスフォーマーモデル(TEC-TT)が含まれている。 Latent Repackingは、様々なレート歪み設定で動作するフレキシブルレートトランスフォーマーモデルをトレーニングするための新しい方法である。
  論文  参考訳（メタデータ） (2025-10-14T16:05:31Z)
• REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder [52.698595889988766]
  生成モデルのためのビデオ埋め込み学習について,新しい視点を提示する。 入力ビデオの正確な再生を必要とせず、効果的な埋め込みは視覚的に妥当な再構築に焦点を当てるべきである。 本稿では,従来のエンコーダ・デコーダ・ビデオ埋め込みをエンコーダ・ジェネレータ・フレームワークに置き換えることを提案する。
  論文  参考訳（メタデータ） (2025-03-11T17:51:07Z)
• Rethinking Video Tokenization: A Conditioned Diffusion-based Approach [58.164354605550194]
  新しいトークン化ツールであるDiffusion Conditioned-based Gene Tokenizerは、GANベースのデコーダを条件付き拡散モデルで置き換える。 再建に基本的MSE拡散損失とKL項,LPIPSを併用した訓練を行った。 CDTのスケールダウン版(3$times inference speedup)でさえ、トップベースラインと互換性がある。
  論文  参考訳（メタデータ） (2025-03-05T17:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。