論文の概要: CoCo4D: Comprehensive and Complex 4D Scene Generation

• arxiv url: http://arxiv.org/abs/2506.19798v1
• Date: Tue, 24 Jun 2025 17:05:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.73807
• Title: CoCo4D: Comprehensive and Complex 4D Scene Generation
• Title（参考訳）: CoCo4D: 包括的で複雑な4Dシーン生成
• Authors: Junwei Zhou, Xueting Li, Lu Qi, Ming-Hsuan Yang,
• Abstract要約: 既存の4D合成法は主に、限られた新しい視点でオブジェクトレベルの生成や動的シーン合成に重点を置いている。 テキストプロンプトから詳細な動的4Dシーンを生成するためのフレームワーク(CoCo4D)を提案する。
• 参考スコア（独自算出の注目度）: 61.25279122171029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing 4D synthesis methods primarily focus on object-level generation or dynamic scene synthesis with limited novel views, restricting their ability to generate multi-view consistent and immersive dynamic 4D scenes. To address these constraints, we propose a framework (dubbed as CoCo4D) for generating detailed dynamic 4D scenes from text prompts, with the option to include images. Our method leverages the crucial observation that articulated motion typically characterizes foreground objects, whereas background alterations are less pronounced. Consequently, CoCo4D divides 4D scene synthesis into two responsibilities: modeling the dynamic foreground and creating the evolving background, both directed by a reference motion sequence. Given a text prompt and an optional reference image, CoCo4D first generates an initial motion sequence utilizing video diffusion models. This motion sequence then guides the synthesis of both the dynamic foreground object and the background using a novel progressive outpainting scheme. To ensure seamless integration of the moving foreground object within the dynamic background, CoCo4D optimizes a parametric trajectory for the foreground, resulting in realistic and coherent blending. Extensive experiments show that CoCo4D achieves comparable or superior performance in 4D scene generation compared to existing methods, demonstrating its effectiveness and efficiency. More results are presented on our website https://colezwhy.github.io/coco4d/.
• Abstract（参考訳）: 既存の4D合成法は主にオブジェクトレベルの生成や動的シーンの合成に重点を置いており、新しいビューが限られており、複数のビューの一貫性と没入性のある動的4Dシーンを生成する能力が制限されている。 これらの制約に対処するため,テキストプロンプトから詳細な動的4Dシーンを生成するためのフレームワーク(CoCo4D)を提案する。 本手法は,手話動作が典型的に前景の物体を特徴付けるという重要な観察を生かしているが,背景変化は少ない。 その結果、CoCo4Dは4Dシーン合成を2つの責務に分割する。 テキストプロンプトとオプション参照画像が与えられた後、CoCo4Dはまず、ビデオ拡散モデルを用いた初期動作シーケンスを生成する。 この動作シーケンスは、新しいプログレッシブ・アウトペイント・スキームを用いて、動的前景オブジェクトと背景の両方の合成を誘導する。 動いたフォアグラウンドオブジェクトを動的背景内でシームレスに統合するために、CoCo4Dは、フォアグラウンドのパラメトリック軌道を最適化し、現実的でコヒーレントなブレンディングをもたらす。 大規模な実験により,CoCo4Dは既存の方法と比較して4次元シーン生成において同等あるいは優れた性能を示し,その有効性と効率を実証した。 さらなる結果が、私たちのWebサイト https://colezwhy.github.io/coco4d/で発表されています。

関連論文リスト

• Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
  Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。 我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。 結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-03-26T17:59:44Z)
• Trans4D: Realistic Geometry-Aware Transition for Compositional Text-to-4D Synthesis [60.853577108780414]
  既存の4D生成方法は、ユーザフレンドリーな条件に基づいて高品質な4Dオブジェクトやシーンを生成することができる。 現実的な複雑なシーン遷移を可能にする新しいテキストから4D合成フレームワークであるTrans4Dを提案する。 実験では、Trans4Dは、4Dシーンを正確かつ高品質な遷移で生成する既存の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-10-09T17:56:03Z)
• Comp4D: LLM-Guided Compositional 4D Scene Generation [65.5810466788355]
  合成 4D 生成のための新しいフレームワーク Comp4D について述べる。 シーン全体の特異な4D表現を生成する従来の方法とは異なり、Comp4Dはシーン内の各4Dオブジェクトを革新的に別々に構築する。 提案手法は, 予め定義された軌道で導かれる合成スコア蒸留技術を用いている。
  論文  参考訳（メタデータ） (2024-03-25T17:55:52Z)
• Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models [94.07744207257653]
  我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。 4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
  論文  参考訳（メタデータ） (2023-12-21T11:41:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。