論文の概要: PaintScene4D: Consistent 4D Scene Generation from Text Prompts

• arxiv url: http://arxiv.org/abs/2412.04471v1
• Date: Thu, 05 Dec 2024 18:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:11.712306
• Title: PaintScene4D: Consistent 4D Scene Generation from Text Prompts
• Title（参考訳）: PaintScene4D:テキストプロンプトから連続した4Dシーン生成
• Authors: Vinayak Gupta, Yunze Man, Yu-Xiong Wang,
• Abstract要約: PaintScene4Dは、新しいテキストから4Dのシーン生成フレームワークである。 さまざまな現実世界のデータセットでトレーニングされたビデオ生成モデルを活用する。 任意の軌道から見ることができるリアルな4Dシーンを生成する。
• 参考スコア（独自算出の注目度）: 29.075849524496707
• License:
• Abstract: Recent advances in diffusion models have revolutionized 2D and 3D content creation, yet generating photorealistic dynamic 4D scenes remains a significant challenge. Existing dynamic 4D generation methods typically rely on distilling knowledge from pre-trained 3D generative models, often fine-tuned on synthetic object datasets. Consequently, the resulting scenes tend to be object-centric and lack photorealism. While text-to-video models can generate more realistic scenes with motion, they often struggle with spatial understanding and provide limited control over camera viewpoints during rendering. To address these limitations, we present PaintScene4D, a novel text-to-4D scene generation framework that departs from conventional multi-view generative models in favor of a streamlined architecture that harnesses video generative models trained on diverse real-world datasets. Our method first generates a reference video using a video generation model, and then employs a strategic camera array selection for rendering. We apply a progressive warping and inpainting technique to ensure both spatial and temporal consistency across multiple viewpoints. Finally, we optimize multi-view images using a dynamic renderer, enabling flexible camera control based on user preferences. Adopting a training-free architecture, our PaintScene4D efficiently produces realistic 4D scenes that can be viewed from arbitrary trajectories. The code will be made publicly available. Our project page is at https://paintscene4d.github.io/
• Abstract（参考訳）: 拡散モデルの最近の進歩は2Dと3Dのコンテンツ生成に革命をもたらしたが、フォトリアリスティックなダイナミックな4Dシーンを生成することは大きな課題である。 既存の動的4D生成法は、通常、訓練済みの3D生成モデルからの知識の蒸留に依存し、しばしば合成オブジェクトデータセットに微調整される。 その結果、結果のシーンはオブジェクト中心になり、フォトリアリズムが欠落する傾向にある。 テキスト・ビデオ・モデルは動きを伴うよりリアルなシーンを生成することができるが、空間的理解に苦しむことが多く、レンダリング中にカメラの視点を限定的に制御する。 このような制約に対処するために、PaintScene4Dは、従来のマルチビュー生成モデルから離れて、多様な実世界のデータセットでトレーニングされたビデオ生成モデルを利用する合理化アーキテクチャを採用する新しいテキストから4Dシーン生成フレームワークである。 提案手法は,まずビデオ生成モデルを用いて参照ビデオを生成し,その後,戦略的カメラアレイ選択を用いてレンダリングを行う。 複数の視点にまたがって空間的・時間的整合性を確保するために,プログレッシブ・ワーピング・インペイント技術を適用した。 最後に、動的レンダラーを用いてマルチビュー画像を最適化し、ユーザの好みに応じてフレキシブルなカメラ制御を可能にする。 トレーニング不要のアーキテクチャを採用することで,任意の軌跡から見えるリアルな4Dシーンを効率よく生成する。 コードは公開されます。 私たちのプロジェクトページはhttps://paintscene4d.github.io/です。

関連論文リスト

• DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion [22.11178016375823]
  DimensionXは、ビデオ拡散を伴う単一の画像から3Dと4Dのシーンを生成するように設計されたフレームワークである。 提案手法は,3次元シーンの空間構造と4次元シーンの時間的進化の両方が,映像フレームのシーケンスを通して効果的に表現できるという知見から始まった。
  論文  参考訳（メタデータ） (2024-11-07T18:07:31Z)
• Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
  3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。 しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。 本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:59Z)
• SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
  シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-11T17:59:58Z)
• 4Real: Towards Photorealistic 4D Scene Generation via Video Diffusion Models [53.89348957053395]
  テキストから4Dシーン生成のための新しいパイプラインを提案する。 提案手法は,ビデオ生成モデルを用いて参照ビデオを生成することから始まる。 次に、凍結時間ビデオを用いて、ビデオの標準的な3D表現を学習する。
  論文  参考訳（メタデータ） (2024-06-11T17:19:26Z)
• TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
  提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。 我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。 提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:55:11Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  textbf4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 我々のパイプラインは、制御可能な4D生成を容易にし、ユーザがモノクロビデオで動きを指定したり、画像から映像への世代を適用できる。 既存のビデオから4Dのベースラインと比較すると,入力信号の忠実な再構成には優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)
• Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from a Single Image [59.18564636990079]
  本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。 既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。 一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
  論文  参考訳（メタデータ） (2023-08-20T12:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。