論文の概要: V-RAE: Rethinking Video Latent Spaces for Generation

• arxiv url: http://arxiv.org/abs/2608.13556v1
• Date: Thu, 13 Aug 2026 17:59:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.639195
• Title: V-RAE: Rethinking Video Latent Spaces for Generation
• Title（参考訳）: V-RAE:ビデオラテント・スペースを世代ごとに再考
• Abstract要約: V-RAEは、凍結した視覚基盤モデル表現の上にコンパクトな生成ラテントを構築するビデオ表現オートエンコーダである。 軽量時間プーリングモジュールは、意味構造を保持しながら時間的冗長性を除去する。 V-RAEはK600上で2.13 rFVDを達成する。
• 参考スコア（独自算出の注目度）: 30.145790682827514
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Latent video generation relies on autoencoders to define a compact space in which generative models operate. Although video autoencoder architectures have evolved substantially, their latent spaces are still optimized primarily for pixel-level reconstruction and provide limited high-level semantic organization. A reconstruction-optimal latent space, however, need not be well suited to generative modeling. We propose V-RAE, a video representation autoencoder that builds compact generative latents on top of frozen vision foundation model representations. A lightweight temporal pooling module removes temporal redundancy while preserving semantic structure, and a video decoder reconstructs continuous motion from the compressed features. We evaluate V-RAE with four representative frozen encoders on video reconstruction, semantic probing, and class-conditional generation. V-RAE achieves 2.13 rFVD on K600, outperforming all evaluated large-scale pretrained video VAEs. Its latents retain substantially more semantic information than conventional video tokenizer latents. Under matched generation settings, our best variant achieves gFVD scores of 117.86 and 19.16 on UCF101 and K600, respectively, while converging up to 6x faster}. We further show that reconstruction quality alone is insufficient to characterize generative utility and introduce tFVD, a temporal-coherence diagnostic that correlates more reliably with downstream generation quality. Beyond video generation, V-RAE also improves future video prediction on Cityscapes over the Wan 2.2 VAE latent space under matched prediction settings. Taken together, the experiments show that frozen semantic representations can support video reconstruction, generation, and predictive modeling. The project page: https://v-rae.github.io/.
• Abstract（参考訳）: 遅延ビデオ生成は、生成モデルが動作するコンパクトな空間を定義するためにオートエンコーダに依存している。 ビデオオートエンコーダのアーキテクチャは大幅に進化しているが、その潜在空間は主にピクセルレベルの再構成に最適化され、高いレベルのセマンティックな構造が制限されている。 しかし、再構成最適潜在空間は生成的モデリングにはあまり適していない。 本稿では,凍結した視覚基盤モデル表現の上にコンパクトな生成子を生成するビデオ表現オートエンコーダV-RAEを提案する。 軽量時間プーリングモジュールは、意味構造を維持しながら時間的冗長性を除去し、ビデオデコーダは圧縮された特徴から連続的な動きを再構成する。 ビデオ再構成,意味探索,クラス条件生成の4つの代表的凍結エンコーダを用いたV-RAEの評価を行った。 V-RAEはK600上で2.13 rFVDを達成する。 潜伏剤は従来のビデオトークン化剤の潜伏剤よりも意味情報をかなり多く保持する。 一致した生成設定の下では、UCF101とK600でそれぞれ117.86と19.16のgFVDスコアを達成し、最大6倍高速に収束する。 さらに、再構成品質だけでは、生成ユーティリティを特徴づけるには不十分であることが示され、ストリーム生成品質とより確実に相関する時間的コヒーレンス診断であるtFVDが導入された。 ビデオ生成以外にも、V-RAEは、一致した予測設定の下で、Wan 2.2 VAEラテント空間上のCityscapesの将来のビデオ予測を改善している。 実験により、凍結したセマンティック表現は、ビデオ再構成、生成、予測モデリングをサポートすることが示された。 プロジェクトページは、https://v-rae.github.io/。

関連論文リスト

• VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders [14.313320718526414]
  VJEPAやVideoMAEv2のようなビデオファンデーションモデル(VF-Ms)は、強力なビデオ理解能力を示している。 VideoRAEは、凍結したビデオファウンデーションエンコーダの階層的特徴を活用して、軽量な1Dセルフアテンションで圧縮する表現オートエンコーダである。 実験の結果, VideoRAEは連続型と離散型の両方で強い再構成が達成された。
  論文  参考訳（メタデータ） (2026-07-15T17:59:23Z)
• Video Generation with Predictive Latents [50.3100375593545]
  ビデオオートエンコーダ(Eational)は、視覚世界をコンパクトな潜在空間にマッピングすることで、潜在映像生成モデリングを可能にする。 ビデオラテントの拡散性を高める方法はまだ重要で未解決の課題である。 本稿では,映像再構成による予測学習を統一する,シンプルで効果的な予測的再構築手法を提案する。
  論文  参考訳（メタデータ） (2026-05-04T01:30:04Z)
• SemanticGen: Video Generation in Semantic Space [60.49729308406981]
  最先端のビデオ生成モデルは、通常、VAE空間内のビデオ潜像の分布を学習し、VAEデコーダを使用してピクセルにマッピングする。 我々はセマンティックGenを紹介した。セマンティックGenはセマンティックな空間でビデオを生成する新しいソリューションだ。 提案手法は,長大なビデオ生成に拡張した場合にも有効であり,計算的にも効率的である。
  論文  参考訳（メタデータ） (2025-12-23T18:59:56Z)
• CVD-STORM: Cross-View Video Diffusion with Spatial-Temporal Reconstruction Model for Autonomous Driving [26.379817613036597]
  CVD-STORMは時空間再構成変分オートエンコーダ(VAE)を利用したクロスビュービデオ拡散モデルである 提案手法は,まず補助的な4次元再構成タスクでVAEを微調整し,その3次元構造と時間的ダイナミクスをエンコードする能力を向上する。 実験結果から,FIDとFVDの両指標の精度向上が得られた。
  論文  参考訳（メタデータ） (2025-10-09T08:41:58Z)
• Hi-VAE: Efficient Video Autoencoding with Global and Detailed Motion [23.80254637449824]
  Hi-VAEは、ビデオダイナミクスの粗大な動き表現を符号化する効率的なビデオ自動符号化フレームワークを定式化している。 我々は,Hi-VAEの圧縮係数が1428$times$,30$times$がベースライン法よりも高いことを示す。
  論文  参考訳（メタデータ） (2025-06-08T13:30:11Z)
• FRAME: Pre-Training Video Feature Representations via Anticipation and Memory [55.046881477209695]
  FRAMEは、高密度ビデオ理解に適した自己監督型ビデオフレームエンコーダである。 同社は、過去と現在のRGBフレームから現在と将来のDINOパッチ機能を予測することを学ぶ。 画像エンコーダや既存の自己監督型ビデオモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-06-05T19:44:47Z)
• LeanVAE: An Ultra-Efficient Reconstruction VAE for Video Diffusion Models [17.29580459404157]
  本稿では,斬新で高効率なビデオVAEフレームワークLeanVAEを提案する。 我々のモデルは最大50倍のFLOPと44倍高速な推論速度を提供する。 ビデオ再生・生成におけるLeanVAEの優位性を検証した。
  論文  参考訳（メタデータ） (2025-03-18T14:58:59Z)
• HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
  HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。 マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
  論文  参考訳（メタデータ） (2025-03-14T15:36:39Z)
• Improved Video VAE for Latent Video Diffusion Model [55.818110540710215]
  ビデオオートエンコーダ(VAE)は、ピクセルデータを低次元の潜在空間に圧縮することを目的としており、OpenAIのSoraで重要な役割を果たしている。 既存のVAEのほとんどは、時間空間圧縮のために3次元因果構造に事前訓練された画像VAEを注入する。 ビデオVAE(IV-VAE)をさらに改善するための新しいKTCアーキテクチャとGCConvモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-10T12:43:38Z)
• Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
  我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。 PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
  論文  参考訳（メタデータ） (2023-02-15T14:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。