論文の概要: 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

• arxiv url: http://arxiv.org/abs/2310.08528v2
• Date: Thu, 7 Dec 2023 12:03:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 18:26:41.281338
• Title: 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
• Title（参考訳）: リアルタイム動的シーンレンダリングのための4次元ガウススプレーティング
• Authors: Guanjun Wu and Taoran Yi and Jiemin Fang and Lingxi Xie and Xiaopeng Zhang and Wei Wei and Wenyu Liu and Qi Tian and Xinggang Wang
• Abstract要約: 本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。 HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。 我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
• 参考スコア（独自算出の注目度）: 107.21288355151015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representing and rendering dynamic scenes has been an important but challenging task. Especially, to accurately model complex motions, high efficiency is usually hard to guarantee. To achieve real-time dynamic scene rendering while also enjoying high training and storage efficiency, we propose 4D Gaussian Splatting (4D-GS) as a holistic representation for dynamic scenes rather than applying 3D-GS for each individual frame. In 4D-GS, a novel explicit representation containing both 3D Gaussians and 4D neural voxels is proposed. A decomposed neural voxel encoding algorithm inspired by HexPlane is proposed to efficiently build Gaussian features from 4D neural voxels and then a lightweight MLP is applied to predict Gaussian deformations at novel timestamps. Our 4D-GS method achieves real-time rendering under high resolutions, 82 FPS at an 800$\times$800 resolution on an RTX 3090 GPU while maintaining comparable or better quality than previous state-of-the-art methods. More demos and code are available at https://guanjunwu.github.io/4dgs/.
• Abstract（参考訳）: 動的シーンの表現とレンダリングは重要だが、難しい作業だった。 特に、複雑な動きを正確にモデル化するには、高い効率性を保証するのは難しい。 リアルタイムな動的シーンレンダリングを実現するために,各フレームに3D-GSを適用するのではなく,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。 4d-gsでは、3次元ガウスと4次元ニューラルボクセルの両方を含む新しい明示表現が提案されている。 hexplaneにインスパイアされた分解型ニューラルボクセル符号化アルゴリズムを提案し、4次元ニューラルボクセルからガウス的特徴を効率的に構築し、新しいタイムスタンプでガウス的変形を予測するために軽量mlpを適用する。 われわれの4D-GS法は,RTX 3090 GPUの800$\times$800の解像度で82 FPSの高解像度でリアルタイムレンダリングを実現する。 デモとコードはhttps://guanjunwu.github.io/4dgs/。

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• Fully Explicit Dynamic Gaussian Splatting [22.889981393105554]
  3D Gaussian Splattingは、高密度な3D事前表現と明示的な表現を活用することで、静的シーンにおける高速かつ高品質なレンダリング結果を示している。 本稿では,Ex4DGSの収束性を改善するためのプログレッシブトレーニング手法とポイントバックトラッキング手法を提案する。 2080TiのGPU上で62fpsの高速レンダリングを実現するため,様々な場面での総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-10-21T04:25:43Z)
• MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes [49.36091070642661]
  本稿では,4DGSのためのメモリ効率フレームワークを提案する。 TechnicolorとNeural 3D Videoのデータセットで約190$times$と125$times$のストレージ削減を実現している。 レンダリング速度とシーン表現の品質を維持し、フィールドに新しい標準を設定する。
  論文  参考訳（メタデータ） (2024-10-17T14:47:08Z)
• Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
  ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。 さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2024-08-07T14:56:34Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
  光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。 既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。 動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T17:57:08Z)
• 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
  異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。 4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。 さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
  論文  参考訳（メタデータ） (2024-02-05T18:59:04Z)
• DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
  DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。 我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。 ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
  論文  参考訳（メタデータ） (2023-12-28T17:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。