論文の概要: Orthogonal Spatial-temporal Distributional Transfer for 4D Generation
- arxiv url: http://arxiv.org/abs/2603.05081v1
- Date: Thu, 05 Mar 2026 11:52:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:11.211775
- Title: Orthogonal Spatial-temporal Distributional Transfer for 4D Generation
- Title（参考訳）: 4次元生成のための直交時空間分布移動
- Authors: Wei Liu, Shengqiong Wu, Bobo Li, Haoyu Zhao, Hao Fei, Mong-Li Lee, Wynne Hsu,
- Abstract要約: 既存の3次元拡散モデルと時間的拡散モデルから豊かな空間的先行を転送し、4次元合成を強化するフレームワークを提案する。
空間・時間差4D(STD-4D)拡散モデルを構築し,空間・時間差による4D映像を合成する。
実験の結果,提案手法は従来の手法よりも優れ,空間的時間的整合性と高品質な4D合成を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 58.30004328671699
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the AIGC era, generating high-quality 4D content has garnered increasing research attention. Unfortunately, current 4D synthesis research is severely constrained by the lack of large-scale 4D datasets, preventing models from adequately learning the critical spatial-temporal features necessary for high-quality 4D generation, thus hindering progress in this domain. To combat this, we propose a novel framework that transfers rich spatial priors from existing 3D diffusion models and temporal priors from video diffusion models to enhance 4D synthesis. We develop a spatial-temporal-disentangled 4D (STD-4D) Diffusion model, which synthesizes 4D-aware videos through disentangled spatial and temporal latents. To facilitate the best feature transfer, we design a novel Orthogonal Spatial-temporal Distributional Transfer (Orster) mechanism, where the spatiotemporal feature distributions are carefully modeled and injected into the STD-4D Diffusion. Furthermore, during the 4D construction, we devise a spatial-temporal-aware HexPlane (ST-HexPlane) to integrate the transferred spatiotemporal features, thereby improving 4D deformation and 4D Gaussian feature modeling. Experiments demonstrate that our method significantly outperforms existing approaches, achieving superior spatial-temporal consistency and higher-quality 4D synthesis.
- Abstract（参考訳）: AIGC時代には、高品質な4Dコンテンツを生成することが研究の注目を集めている。
残念なことに、現在の4D合成研究は、大規模な4Dデータセットの欠如によって厳しい制約を受けており、高品質な4D生成に必要な重要な空間的特徴をモデルが適切に学習することを妨げるため、この領域の進歩を妨げている。
そこで本研究では,既存の3次元拡散モデルと時間的先行をビデオ拡散モデルから移譲し,4次元合成を向上する手法を提案する。
空間・時間差4D(STD-4D)拡散モデルを構築し,空間・時間差による4D映像を合成する。
最適な特徴伝達を容易にするために,時空間分布を慎重にモデル化しSTD-4D拡散に注入する,新しい直交時空間分布伝達機構(Orster)を設計する。
さらに, 空間時空間対応型ヘックスプラン(ST-HexPlane)を考案し, 4次元変形と4次元ガウス特徴モデリングを改善した。
実験の結果,提案手法は従来の手法よりも優れ,空間的時間的整合性と高品質な4D合成を実現していることがわかった。
関連論文リスト
- Spatial-Temporal State Propagation Autoregressive Model for 4D Object Generation [19.913442608499366]
時空間状態伝搬自己回帰モデル(STAR)を提案する。
実験により、4DSTARは空間的時間的一貫した4Dオブジェクトを生成し、拡散モデルと競合する性能を実現する。
論文 参考訳（メタデータ） (2026-02-21T13:21:21Z) - SS4D: Native 4D Generative Model via Structured Spacetime Latents [50.29500511908054]
モノクロビデオから直接動的3Dオブジェクトを合成する,ネイティブな4D生成モデルであるSS4Dを提案する。
発電機を4Dデータで直接訓練し、高忠実度、時間的コヒーレンス、構造的整合性を実現する。
論文 参考訳（メタデータ） (2025-12-16T10:45:06Z) - U4D: Uncertainty-Aware 4D World Modeling from LiDAR Sequences [54.77163447282599]
既存の生成フレームワークは、すべての空間領域を均一に扱い、現実世界のシーンで様々な不確実性を見渡せる。
4次元LiDAR世界モデリングのための不確実性認識フレームワークであるU4Dを提案する。
提案手法はまず,事前訓練されたセグメンテーションモデルから空間不確実性マップを推定し,意味論的に困難な領域を局所化する。
次に,(1)高エントロピー領域を微細な幾何学的忠実度で再構成する不確実領域モデリング,(2)学習された構造的先行条件の下で残りの領域を合成する不確実条件完備化という2つの段階を通じて,「ハード・トゥ・イージー」な方法で生成を行う。
論文 参考訳（メタデータ） (2025-12-02T17:59:57Z) - 4DSTR: Advancing Generative 4D Gaussians with Spatial-Temporal Rectification for High-Quality and Consistent 4D Generation [28.11338918279445]
本研究では,空間的時間的補正により生成する4次元ガウス散乱を変調する4DSTRと呼ばれる新しい4D生成ネットワークを提案する。
実験の結果,4DSTRは映像から4Dまでの性能を向上し,再現性,空間的時間的整合性,迅速な時間的動きへの適応性に優れていた。
論文 参考訳（メタデータ） (2025-11-10T15:57:03Z) - 4Diffusion: Multi-view Video Diffusion Model for 4D Generation [55.82208863521353]
現在の4D生成法は, 高度な拡散生成モデルの助けを借りて, 有意義な有効性を実現している。
モノクロビデオから空間的・時間的に一貫した4Dコンテンツを生成することを目的とした,新しい4D生成パイプライン,すなわち4Diffusionを提案する。
論文 参考訳（メタデータ） (2024-05-31T08:18:39Z) - Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。
ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。
提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
論文 参考訳（メタデータ） (2024-05-26T17:47:34Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。