論文の概要: ST-Gen4D: Embedding 4D Spatiotemporal Cognition into World Model for 4D Generation

• arxiv url: http://arxiv.org/abs/2605.07390v1
• Date: Fri, 08 May 2026 07:44:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.898943
• Title: ST-Gen4D: Embedding 4D Spatiotemporal Cognition into World Model for 4D Generation
• Title（参考訳）: ST-Gen4D:4次元生成のための世界モデルに4次元時空間認知を組み込む
• Authors: Haonan Wang, Hanyu Zhou, Tao Gu, Luxin Yan,
• Abstract要約: 生成モデルは、明らかにコヒーレントな2Dビデオを作成することに成功しているが、4Dスケールの欠如により、物理的な世界ではまだ挑戦的だ。 本研究は, 4次元時間認知に基づく世界モデルを用いた4次元生成フレームワークST-4Dを提案する。
• 参考スコア（独自算出の注目度）: 40.29834968806053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models have achieved success in producing apparently coherent 2D videos, but remain challenging in the physical world due to lack of 4D spatiotemporal scale. Typically, existing 4D generative models directly embed macro scale constraints to enhance overall spatiotemporal consistency. However, these methods only ensure global appearance coherence and fail to reveal the local dynamics of the physical world. Our insight is that global appearance structure and local dynamic topology empower 4D spatiotemporal cognition, thereby enabling 4D generation with spatiotemporal regularities. In this work, we propose ST-Gen4D, a 4D generation framework with 4D spatiotemporal cognition-based world model. Our model is guided by four key designs: 1) Spatiotemporal representation. We encode various modalities into multiple representations as a feature basis. 2) Spatiotemporal cognition. We sculpture these representations into global appearance graph and local dynamic graph, and fuse them via semantic-bridged spatiotemporal fusion to obtain a 4D cognition graph. 3) Spatiotemporal reasoning. We utilize a world model to derive future state based on the 4D cognition. 4) Spatiotemporal generation. We leverage the derived cognition as condition to guide latent diffusion for 4D Gaussian generation. By deeply integrating 4D intrinsic cognition with generative priors, our model guarantees the structural rationality and topological consistency of 4D generation. Moreover, we propose ST-4D datasets by aggregating public 4D datasets and self-built subset. Extensive experiments demonstrate the superiority of our ST-Gen4D across 3D and 4D generation tasks.
• Abstract（参考訳）: 生成モデルは、明らかにコヒーレントな2Dビデオを作成することに成功しているが、4D時空間スケールが欠如しているため、物理的な世界では依然として困難である。 通常、既存の4D生成モデルはマクロスケールの制約を直接埋め込んで、全体の時空間的一貫性を高める。 しかし、これらの手法はグローバルな出現コヒーレンスを保証し、物理世界の局所力学を明らかにするのに失敗する。 我々の洞察では、グローバルな外見構造と局所的動的トポロジーは4次元時空間認知を増強し、時空間規則性を持つ4次元生成を可能にする。 本研究では,4次元時空間認知に基づく世界モデルを用いた4次元生成フレームワークST-Gen4Dを提案する。 私たちのモデルは4つの重要な設計でガイドされています。 1)時空間表現。 様々なモダリティを特徴ベースとして複数の表現にエンコードする。 2)時空間認知 我々はこれらの表現をグローバルな外見グラフと局所的動的グラフに彫刻し、セマンティックブリッジ付き時空間融合により4次元認知グラフを得る。 3)時空間推論。 我々は,世界モデルを用いて4次元認識に基づく未来状態の導出を行う。 4)時空間発生。 導出認知を条件として、4次元ガウス生成のための潜時拡散を導出する。 本モデルでは, 4次元内在的認知を生成先行と深く統合することにより, 4次元生成の構造的合理性とトポロジ的整合性を保証する。 さらに、パブリックな4Dデータセットと自己構築サブセットを集約してST-4Dデータセットを提案する。 広汎な実験により,ST-Gen4Dの3Dおよび4D生成タスクにおける優位性が示された。

関連論文リスト

• Sculpt4D: Generating 4D Shapes via Sparse-Attention Diffusion Transformers [70.55535980817577]
  Sculpt4Dはネイティブな4D生成フレームワークで、効率的な時間的モデリングを事前訓練された3Dトランスにシームレスに統合する。 本研究では,Sculpt4Dが時間的コヒーレントな4D合成において新たな最先端を確立し,効率的でスケーラブルな4D生成への道筋を示す。
  論文  参考訳（メタデータ） (2026-04-23T12:18:55Z)
• Orthogonal Spatial-temporal Distributional Transfer for 4D Generation [58.30004328671699]
  既存の3次元拡散モデルと時間的拡散モデルから豊かな空間的先行を転送し、4次元合成を強化するフレームワークを提案する。 空間・時間差4D(STD-4D)拡散モデルを構築し,空間・時間差による4D映像を合成する。 実験の結果,提案手法は従来の手法よりも優れ,空間的時間的整合性と高品質な4D合成を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-03-05T11:52:21Z)
• SS4D: Native 4D Generative Model via Structured Spacetime Latents [50.29500511908054]
  モノクロビデオから直接動的3Dオブジェクトを合成する,ネイティブな4D生成モデルであるSS4Dを提案する。 発電機を4Dデータで直接訓練し、高忠実度、時間的コヒーレンス、構造的整合性を実現する。
  論文  参考訳（メタデータ） (2025-12-16T10:45:06Z)
• U4D: Uncertainty-Aware 4D World Modeling from LiDAR Sequences [54.77163447282599]
  既存の生成フレームワークは、すべての空間領域を均一に扱い、現実世界のシーンで様々な不確実性を見渡せる。 4次元LiDAR世界モデリングのための不確実性認識フレームワークであるU4Dを提案する。 提案手法はまず,事前訓練されたセグメンテーションモデルから空間不確実性マップを推定し,意味論的に困難な領域を局所化する。 次に,(1)高エントロピー領域を微細な幾何学的忠実度で再構成する不確実領域モデリング,(2)学習された構造的先行条件の下で残りの領域を合成する不確実条件完備化という2つの段階を通じて,「ハード・トゥ・イージー」な方法で生成を行う。
  論文  参考訳（メタデータ） (2025-12-02T17:59:57Z)
• Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
  Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。 我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。 結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-03-26T17:59:44Z)
• Advances in 4D Generation: A Survey [23.041037534410773]
  4D生成により、インタラクティブで没入的な体験がより豊かになる。 急速な進歩にもかかわらず、この分野には4D表現、生成フレームワーク、基本的なパラダイム、それに直面する中核的な技術的課題の統一的な理解が欠けている。 この調査は、4D世代環境の体系的かつ詳細なレビューを提供する。
  論文  参考訳（メタデータ） (2025-03-18T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。