論文の概要: LightVAE: Towards Compact and Efficient Video Autoencoders

• arxiv url: http://arxiv.org/abs/2610.14726v1
• Date: Sat, 10 Oct 2026 08:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:04:31.226778
• Title: LightVAE: Towards Compact and Efficient Video Autoencoders
• Title（参考訳）: LightVAE: コンパクトで効率的なビデオオートエンコーダを目指して
• Abstract要約: 時間的モデリングとネットワーク深さの冗長性を利用した圧縮フレームワークLightVAEを提案する。 3つのビデオVAEバックボーンと2つのGPUプラットフォームにまたがって、LightVAEはデコーディングを継続的に加速する。
• 参考スコア（独自算出の注目度）: 24.068322697550983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent diffusion models enable high-quality video generation, but video VAE encoding and decoding remain computationally expensive. Existing methods use stage-specific lightweight operators, yet either constrain spatial and temporal computation jointly or remove temporal computation altogether, without distinguishing their compression sensitivities in pretrained Conv3D. To address these limitations, we present LightVAE, a compression framework that exploits redundancy in temporal modeling and network depth. LightVAE exactly reparameterizes eligible causal Conv3D layers into an aggregate spatial response and a difference-driven temporal correction. Based on their distinct compression sensitivities, temporal low-rank compression (TLR) keeps the aggregate spatial kernel dense and applies layer-specific low-rank approximation only to the temporal correction. An algebraically equivalent folded implementation converts the arithmetic savings into practical acceleration. LightVAE further uses width-preserving block pruning to reduce depth and probe-guided feature alignment, guided by feedback from a frozen teacher suffix, to recover quality after compression. The framework also extends to video encoders. Across three video VAE backbones and two GPU platforms, LightVAE consistently accelerates decoding. For the Wan VAE family, it achieves up to $2.24\times$ and $1.11\times$ the decoding throughput of state-of-the-art efficient VAE decoders on NVIDIA H100 and RTX~5090, respectively, with higher DAVIS PSNR and lower LPIPS. On MiniMax-H3, it achieves up to $2.97\times$ the original decoding throughput while retaining 99.51\% of the original model's overall VBench-2.0 score. Our code is available at https://github.com/ModelTC/LightVAE.
• Abstract（参考訳）: 遅延拡散モデルは高品質なビデオ生成を可能にするが、ビデオVAE符号化と復号化は計算コストが高いままである。 既存の手法では、ステージ固有の軽量演算子を用いるが、空間計算と時間計算を同時に制約するか、時間計算を完全に削除するが、事前訓練されたConv3Dでは圧縮感度を区別しない。 このような制約に対処するために、時間的モデリングとネットワーク深さの冗長性を利用した圧縮フレームワークLightVAEを提案する。 LightVAEは、適切な因果Conv3D層を、集合的な空間応答と差動駆動時間補正に正確に再パラメータ化する。 異なる圧縮感度に基づいて、時間的低ランク圧縮(TLR)は、集合空間カーネルを密に保ち、時間的補正のみに層固有の低ランク近似を適用する。 代数的に等価な折り畳み実装は、算術的な貯蓄を実用的な加速に変換する。 LightVAEはさらに、幅保存ブロックプルーニングを使用して深さとプローブ誘導された特徴アライメントを減らし、凍結した教師接尾辞からのフィードバックにより圧縮後の品質を回復する。 このフレームワークはビデオエンコーダにも拡張されている。 3つのビデオVAEバックボーンと2つのGPUプラットフォームにまたがって、LightVAEはデコーディングを継続的に加速する。 Wan VAEファミリーでは、NVIDIA H100とRTX~5090の最先端効率のVAEデコーダの復号スループットを最大2.24\times$と1.11\timesで達成し、高いDAVIS PSNRと低いLPIPSである。 MiniMax-H3では、オリジナルモデルのVBench-2.0全体のスコアの99.51\%を維持しながら、オリジナルの復号スループットを最大2.97\timesで達成している。 私たちのコードはhttps://github.com/ModelTC/LightVAE.comで公開されています。

関連論文リスト

• Cache-Aware Conv3D Lowering Across Embedded World-Model Decoders [11.234558926911483]
  本稿では,キャッシュ・アウェア・ローディングを導入し,因果Conv3D呼び出しをバッチ空間Conv2D操作として表現する。 64GBのJetson AGX Orin上のCosmos3-Edge-to-videoパイプライン全体にわたって、提案されたVAEデコーディングは、約7倍の速度で加速される。
  論文  参考訳（メタデータ） (2026-09-25T19:36:40Z)
• Generative Video Compression with One-Dimensional Latent Representation [59.29493435530304]
  1次元(1次元)遅延表現(GVC1D)による生成ビデオ圧縮について紹介する。 GVC1Dはビデオデータを、短期と長期の両方の文脈で条件付けられた極端にコンパクトな1D潜在トークンにエンコードする。 実験結果から,GVC1Dの圧縮効率は従来の圧縮法よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-16T14:02:17Z)
• Adaptive 1D Video Diffusion Autoencoder [44.70149252636057]
  適応型1次元符号化と拡散型デコードのためのトランスフォーマベースのフレームワークである1次元拡散ビデオ自動符号化(One-DVA)を提案する。 1-DVAは3D-CNN VAEと同等の性能を同じ圧縮比で再現する。 さらに、生成過程によって生じる人工物を軽減するために、生成モデルのためのOne-DVA潜伏分布を規則化し、デコーダを微調整する。
  論文  参考訳（メタデータ） (2026-02-04T05:11:12Z)
• Representing 3D Shapes With 64 Latent Vectors for 3D Diffusion Models [21.97308739556984]
  COD-VAEは3D形状を1D潜伏ベクトルからなるCampact集合に符号化する。 その結果,COD-VAEは品質を維持しつつ,ベースラインの16倍の圧縮を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-03-11T06:29:39Z)
• ReTaKe: Reducing Temporal and Knowledge Redundancy for Long Video Understanding [55.320254859515714]
  ReTaKeは、ビデオLLMsが8倍のフレーム(最大2048年まで)を処理し、類似のモデルも3～5%縮小し、ビデオMME、MLVU、LongVideoBench、LVBenchなどと競合する。 私たちのコードはhttps://github.com/SCZwangxiao/video-ReTaKe.comで公開されています。
  論文  参考訳（メタデータ） (2024-12-29T15:42:24Z)
• Large Motion Video Autoencoding with Cross-modal Video VAE [52.13379965800485]
  ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-12-23T18:58:24Z)
• Improved Video VAE for Latent Video Diffusion Model [55.818110540710215]
  ビデオオートエンコーダ(VAE)は、ピクセルデータを低次元の潜在空間に圧縮することを目的としており、OpenAIのSoraで重要な役割を果たしている。 既存のVAEのほとんどは、時間空間圧縮のために3次元因果構造に事前訓練された画像VAEを注入する。 ビデオVAE(IV-VAE)をさらに改善するための新しいKTCアーキテクチャとGCConvモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-10T12:43:38Z)
• Accelerating Learnt Video Codecs with Gradient Decay and Layer-wise Distillation [17.980800481385195]
  本稿では, 勾配減衰と適応層ワイド蒸留に基づく新しいモデル非依存プルーニング手法を提案する。 その結果,BD-PSNRでは最大65%のMACと2倍のスピードアップ,0.3dB未満のBD-PSNRが得られた。
  論文  参考訳（メタデータ） (2023-12-05T09:26:09Z)
• Learning for Video Compression with Recurrent Auto-Encoder and Recurrent Probability Model [164.7489982837475]
  本稿では、リカレントオートエンコーダ(RAE)とリカレント確率モデル(RPM)を用いたリカレントラーニングビデオ圧縮(RLVC)手法を提案する。 RAEは、ビデオフレーム間の時間的相関を利用するために、エンコーダとデコーダの両方で繰り返しセルを使用する。 提案手法は,PSNRとMS-SSIMの両方の観点から,最先端の学習ビデオ圧縮性能を実現する。
  論文  参考訳（メタデータ） (2020-06-24T08:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。