論文の概要: VideoTok4D: A 4D-Aware Video Tokenizer for Compact World Representation
- arxiv url: http://arxiv.org/abs/2609.12874v1
- Date: Fri, 11 Sep 2026 14:03:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.768956
- Title: VideoTok4D: A 4D-Aware Video Tokenizer for Compact World Representation
- Title（参考訳）: VideoTok4D:コンパクトな世界表現のための4D対応ビデオトケナイザ
- Abstract要約: ビデオトークンーは現代のビデオモデリングの基盤として登場した。
コンパクトな世界表現のための新しい4D対応ビデオトークンであるVideoTok4Dを提案する。
- 参考スコア（独自算出の注目度）: 21.308618722721388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video tokenizers have emerged as a cornerstone of modern video modeling, underpinning progress in compression, reconstruction and generation by mapping high-dimensional visual signals into compact latent spaces. However, despite this progress, current tokenization paradigms largely remain within the 2D visual domain, treating videos as image sequences rather than observations of an underlying dynamic 3D world. Consequently, the learned tokens inherit this observation-centric bias, limiting their capacity to compactly represent real-world 4D scenes. To mitigate this issue, we propose VideoTok4D, a novel 4D-aware video tokenizer for compact world representation. Specifically, our approach comprises three key designs: 1) a spatiotemporal disentanglement strategy that factorizes videos into static and dynamic tokens for holistic world modeling; 2) a track-aware dynamic attention mechanism that aggregates trajectory-aligned cues to promote cross-view motion consistency; and 3) Co4DGen, a diffusion prior learned over the resulting VideoTok4D token space for efficient 4D scene generation. Extensive experiments have demonstrated that our proposed method achieves state-of-the-art performance while requiring up to 4 orders of magnitude less storage than dense 4D representations. Moreover, the compact token space substantially shortens diffusion sequences, enabling efficient generation.
- Abstract（参考訳）: ビデオトークン化装置は、高次元の視覚信号をコンパクトな潜在空間にマッピングすることで、圧縮、再構成、生成の進歩を支えている。
しかし、この進歩にもかかわらず、現在のトークン化パラダイムは2次元の視覚領域に留まり、ビデオは基礎となるダイナミックな3次元世界の観察ではなく、画像シーケンスとして扱われる。
その結果、学習トークンはこの観測中心バイアスを継承し、実世界の4Dシーンをコンパクトに表現する能力を制限する。
この問題を軽減するために,コンパクトな世界表現のための新しい4D対応ビデオトークンであるVideoTok4Dを提案する。
特に、我々のアプローチは3つの重要な設計から成り立っている。
1) 映像を静的かつダイナミックなトークンに分解して全体的世界モデリングを行う時空間的ゆがみ戦略
2 軌跡整合性を促進するために軌跡整合性キューを集約する軌跡認識動的注意機構
3) Co4DGenは, より効率的な4Dシーン生成のためのVideoTok4Dトークン空間について, 予め学習した拡散係数である。
大規模実験により,提案手法は高密度な4次元表現よりも最大4桁の保存を必要としながら,最先端性能を実現することを示した。
さらに、コンパクトトークン空間は拡散シーケンスを大幅に短縮し、効率的な生成を可能にする。
関連論文リスト
- Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。
次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。
実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-05-25T06:59:26Z) - Velox: Learning Representations of 4D Geometry and Appearance [37.12487786007913]
物体の形状と外観を忠実に捉えた記述的かつ忠実な4次元オブジェクトの潜在表現を学習するためのフレームワークを提案する。
我々は,3つの下流タスク – 映像から4D生成,3次元トラッキング,および画像から4D生成による布地シミュレーション – で評価を行った。
論文 参考訳（メタデータ） (2026-05-06T06:12:19Z) - 4RC: 4D Reconstruction via Conditional Querying Anytime and Anywhere [77.83037497484366]
単眼ビデオからの4次元再構成のための統合フィードフォワードフレームワークである4RCを提案する。
4RCは、密集したシーン形状と動きのダイナミクスを共同でキャプチャする総体的な4D表現を学習する。
論文 参考訳（メタデータ） (2026-02-10T18:57:04Z) - Uni4D: A Unified Self-Supervised Learning Framework for Point Cloud Videos [70.07088203106443]
既存の手法は運動を学ぶための明示的な知識に依存しており、結果として準最適表現をもたらす。
Masked Autoentangler (MAE)フレームワークは、4Dデータにおける低レベルの幾何学と高レベルのダイナミックスの間のギャップを埋めるのに苦労している。
本稿では,表現的,識別的,移動可能な4次元表現を学習するための,新しい自己異方性MAEを提案する。
論文 参考訳（メタデータ） (2025-04-07T08:47:36Z) - Can Video Diffusion Model Reconstruct 4D Geometry? [66.5454886982702]
Sora3Rは、カジュアルなビデオから4Dのポイントマップを推測するために、大きなダイナミックビデオ拡散モデルのリッチ・テンポラリなテンポラリなテンポラリな時間を利用する新しいフレームワークである。
実験により、Sora3Rはカメラのポーズと詳細なシーン形状の両方を確実に復元し、動的4D再構成のための最先端の手法と同等の性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-03-27T01:44:46Z) - Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。
我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。
結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
論文 参考訳（メタデータ） (2025-03-26T17:59:44Z) - DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion [22.11178016375823]
DimensionXは、ビデオ拡散を伴う単一の画像から3Dと4Dのシーンを生成するように設計されたフレームワークである。
提案手法は,3次元シーンの空間構造と4次元シーンの時間的進化の両方が,映像フレームのシーケンスを通して効果的に表現できるという知見から始まった。
論文 参考訳（メタデータ） (2024-11-07T18:07:31Z) - Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。
ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。
提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
論文 参考訳（メタデータ） (2024-05-26T17:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。