論文の概要: 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives

• arxiv url: http://arxiv.org/abs/2412.20720v1
• Date: Mon, 30 Dec 2024 05:30:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:09.603422
• Title: 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives
• Title（参考訳）: 4Dガウススプラッティング:ネイティブ4Dプリミティブによる動的シーンのモデリング
• Authors: Zeyu Yang, Zijie Pan, Xiatian Zhu, Li Zhang, Yu-Gang Jiang, Philip H. S. Torr,
• Abstract要約: 本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。 本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。 このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。 特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
• 参考スコア（独自算出の注目度）: 116.2042238179433
• License:
• Abstract: Dynamic 3D scene representation and novel view synthesis from captured videos are crucial for enabling immersive experiences required by AR/VR and metaverse applications. However, this task is challenging due to the complexity of unconstrained real-world scenes and their temporal dynamics. In this paper, we frame dynamic scenes as a spatio-temporal 4D volume learning problem, offering a native explicit reformulation with minimal assumptions about motion, which serves as a versatile dynamic scene learning framework. Specifically, we represent a target dynamic scene using a collection of 4D Gaussian primitives with explicit geometry and appearance features, dubbed as 4D Gaussian splatting (4DGS). This approach can capture relevant information in space and time by fitting the underlying spatio-temporal volume. Modeling the spacetime as a whole with 4D Gaussians parameterized by anisotropic ellipses that can rotate arbitrarily in space and time, our model can naturally learn view-dependent and time-evolved appearance with 4D spherindrical harmonics. Notably, our 4DGS model is the first solution that supports real-time rendering of high-resolution, photorealistic novel views for complex dynamic scenes. To enhance efficiency, we derive several compact variants that effectively reduce memory footprint and mitigate the risk of overfitting. Extensive experiments validate the superiority of 4DGS in terms of visual quality and efficiency across a range of dynamic scene-related tasks (e.g., novel view synthesis, 4D generation, scene understanding) and scenarios (e.g., single object, indoor scenes, driving environments, synthetic and real data).
• Abstract（参考訳）: AR/VRおよびメタバースアプリケーションに必要な没入体験を実現するためには,ダイナミックな3Dシーン表現とキャプチャビデオからの新規ビュー合成が不可欠である。 しかし、この課題は、制約のない現実世界のシーンの複雑さと時間的ダイナミクスのために困難である。 本稿では,動的シーンを時空間的4次元ボリューム学習問題として捉え,動的シーン学習フレームワークとして機能する動きに関する最小限の仮定で,ネイティブな明示的な再構成を提供する。 具体的には,4Dガウス・スプラッティング (4DGS) と呼ばれる4Dガウス・プリミティブの鮮明な幾何学的特徴と外観的特徴を持つ集合体を用いて,対象とする動的シーンを表現する。 このアプローチは、空間と時間における関連する情報を、基礎となる時空間体積に適合させることによってキャプチャすることができる。 空間と時間で任意に回転できる異方性楕円によってパラメータ化された4次元ガウスの時空全体をモデル化し、我々のモデルは自然に4次元球面高調波を用いてビュー依存および時間進化の外観を学習することができる。 特に、我々の4DGSモデルは、複雑なダイナミックシーンのための高解像度のフォトリアリスティックなノベルビューのリアルタイムレンダリングをサポートする最初のソリューションです。 効率を向上させるために、メモリフットプリントを効果的に削減し、オーバーフィッティングのリスクを軽減する、いくつかのコンパクトなバリエーションを導出する。 広汎な実験により、4DGSの視覚的品質と効率性は、動的シーン関連タスク(例えば、新しいビュー合成、4D生成、シーン理解)とシナリオ(例えば、シングルオブジェクト、屋内シーン、運転環境、合成データ、実データ)で検証された。

関連論文リスト

• Real-Time Spatio-Temporal Reconstruction of Dynamic Endoscopic Scenes with 4D Gaussian Splatting [1.7947477507955865]
  本稿では,動的内視鏡シーンのダイナミックスをモデル化する新しいフレームワークST-Endo4DGSを提案する。 このアプローチは、変形可能な組織の正確な表現を可能にし、空間的および時間的相関をリアルタイムでキャプチャする。
  論文  参考訳（メタデータ） (2024-11-02T11:24:27Z)
• Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
  高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。 ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。 提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
  論文  参考訳（メタデータ） (2024-05-26T17:47:34Z)
• 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
  異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。 4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。 さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
  論文  参考訳（メタデータ） (2024-02-05T18:59:04Z)
• Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models [94.07744207257653]
  我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。 4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
  論文  参考訳（メタデータ） (2023-12-21T11:41:02Z)
• Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting [8.078460597825142]
  2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。 本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。 我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
  論文  参考訳（メタデータ） (2023-10-16T17:57:43Z)
• 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
  本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。 HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。 我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:21:41Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering [31.928844354349117]
  動的シーンに対する効率的な4次元テンソル分解法を提案する。 本手法は,スパースビューカメラや単眼カメラから高品質な動的再構成とレンダリングを実現することができることを示す。 コードとデータセットはatliuyebin.com/tensor4d-tensor4d.htmlでリリースされる。
  論文  参考訳（メタデータ） (2022-11-21T16:04:45Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。