論文の概要: VideoRFSplat: Direct Scene-Level Text-to-3D Gaussian Splatting Generation with Flexible Pose and Multi-View Joint Modeling

• arxiv url: http://arxiv.org/abs/2503.15855v1
• Date: Thu, 20 Mar 2025 05:26:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:41.285196
• Title: VideoRFSplat: Direct Scene-Level Text-to-3D Gaussian Splatting Generation with Flexible Pose and Multi-View Joint Modeling
• Title（参考訳）: VideoRFSplat: フレキシブルポーズとマルチビュージョイントモデリングによる直接シーンレベルテキスト-3次元ガウススプレイティング生成
• Authors: Hyojun Go, Byeongjun Park, Hyelin Nam, Byung-Hoon Kim, Hyungjin Chung, Changick Kim,
• Abstract要約: 本稿では,映像生成モデルを利用した実世界シーンのリアルな3Dガウススティング(3DGS)を生成するためのテキスト・ツー・3DモデルであるVideoRFSplatを提案する。 VideoRFSplatは、スコア蒸留サンプリングによるポストホック精製に大きく依存する既存のテキスト・ツー・3Dダイレクト・ジェネレーション法より優れている。
• 参考スコア（独自算出の注目度）: 20.329392012132885
• License:
• Abstract: We propose VideoRFSplat, a direct text-to-3D model leveraging a video generation model to generate realistic 3D Gaussian Splatting (3DGS) for unbounded real-world scenes. To generate diverse camera poses and unbounded spatial extent of real-world scenes, while ensuring generalization to arbitrary text prompts, previous methods fine-tune 2D generative models to jointly model camera poses and multi-view images. However, these methods suffer from instability when extending 2D generative models to joint modeling due to the modality gap, which necessitates additional models to stabilize training and inference. In this work, we propose an architecture and a sampling strategy to jointly model multi-view images and camera poses when fine-tuning a video generation model. Our core idea is a dual-stream architecture that attaches a dedicated pose generation model alongside a pre-trained video generation model via communication blocks, generating multi-view images and camera poses through separate streams. This design reduces interference between the pose and image modalities. Additionally, we propose an asynchronous sampling strategy that denoises camera poses faster than multi-view images, allowing rapidly denoised poses to condition multi-view generation, reducing mutual ambiguity and enhancing cross-modal consistency. Trained on multiple large-scale real-world datasets (RealEstate10K, MVImgNet, DL3DV-10K, ACID), VideoRFSplat outperforms existing text-to-3D direct generation methods that heavily depend on post-hoc refinement via score distillation sampling, achieving superior results without such refinement.
• Abstract（参考訳）: 本稿では,映像生成モデルを利用した直接テキスト・ツー・3DモデルであるVideoRFSplatを提案し,現実的な3Dガウス・スプレイティング(3DGS)を生成する。 任意のテキストプロンプトへの一般化を確保しつつ、多様なカメラポーズと実世界のシーンの非有界空間範囲を生成する。 しかし、これらの手法は、トレーニングと推論を安定させるために追加のモデルを必要とするモダリティギャップにより、2次元生成モデルからジョイントモデリングに拡張する際の不安定性に悩まされる。 本研究では,映像生成モデルの微調整を行う際に,多視点画像とカメラポーズを協調的にモデル化するためのアーキテクチャとサンプリング戦略を提案する。 私たちの中核となる考え方は、通信ブロックを介して訓練済みのビデオ生成モデルと並行して、専用のポーズ生成モデルを取り付けて、複数のビュー画像とカメラのポーズを別々のストリームで生成する、デュアルストリームアーキテクチャである。 この設計は、ポーズと画像のモダリティの間の干渉を減らす。 さらに,マルチビュー画像よりも高速にカメラのポーズを識別する非同期サンプリング手法を提案する。 複数の大規模実世界のデータセット(RealEstate10K、MVImgNet、DL3DV-10K、ACID)でトレーニングされたビデオRFSplatは、スコア蒸留サンプリングによるポストホック精錬に大きく依存する既存のテキスト・ツー・3Dダイレクト・ジェネレーション法より優れており、そのような精錬なしで優れた結果が得られる。

関連論文リスト

• Wonderland: Navigating 3D Scenes from a Single Image [43.99037613068823]
  本研究では,映像拡散モデルから潜伏木を用いた大規模再構成モデルを導入し,シーンの3次元ガウススプラッティングを予測する。 プログレッシブトレーニング戦略により,映像潜時空間上での3D再構成モデルをトレーニングし,高品質,広スコープ,汎用的な3Dシーンの効率的な生成を可能にする。
  論文  参考訳（メタデータ） (2024-12-16T18:58:17Z)
• World-consistent Video Diffusion with Explicit 3D Modeling [67.39618291644673]
  World-Consistent Video Diffusion (WVD)は、XYZ画像を用いた明示的な3D監視を含む新しいフレームワークである。 我々は拡散変換器を訓練し、RGBとXYZフレームの結合分布を学習する。 WVDは、シングルイメージから3D生成、マルチビューステレオ、カメラ制御ビデオ生成といったタスクを統一する。
  論文  参考訳（メタデータ） (2024-12-02T18:58:23Z)
• Flex3D: Feed-Forward 3D Generation With Flexible Reconstruction Model And Input View Curation [61.040832373015014]
  テキスト, 単一画像, スパース画像から高品質な3Dコンテンツを生成するための新しいフレームワークFlex3Dを提案する。 我々は、微調整された多視点画像拡散モデルとビデオ拡散モデルを用いて、候補視のプールを生成し、ターゲット3Dオブジェクトのリッチな表現を可能にする。 第2段階では、キュレートされたビューは、任意の数の入力を効果的に処理できるトランスフォーマーアーキテクチャ上に構築されたフレキシブルリコンストラクションモデル(FlexRM)に入力されます。
  論文  参考訳（メタデータ） (2024-10-01T17:29:43Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• Bootstrap3D: Improving Multi-view Diffusion Model with Synthetic Data [80.92268916571712]
  重要なボトルネックは、詳細なキャプションを持つ高品質な3Dオブジェクトの不足である。 本稿では,任意の量のマルチビュー画像を自動的に生成する新しいフレームワークBootstrap3Dを提案する。 我々は高画質合成多視点画像100万枚を高密度記述キャプションで生成した。
  論文  参考訳（メタデータ） (2024-05-31T17:59:56Z)
• MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View [0.0]
  本稿では,単一画像から一貫した多視点画像を生成するための一般的なフレームワークを提案する。 提案モデルは,PSNR,SSIM,LPIPSなどの評価指標において,ベースライン法を超える3Dメッシュを生成することができる。
  論文  参考訳（メタデータ） (2024-05-06T22:55:53Z)
• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。