論文の概要: 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
- arxiv url: http://arxiv.org/abs/2310.08528v2
- Date: Thu, 7 Dec 2023 12:03:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 18:26:41.281338
- Title: 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
- Title(参考訳): リアルタイム動的シーンレンダリングのための4次元ガウススプレーティング
- Authors: Guanjun Wu and Taoran Yi and Jiemin Fang and Lingxi Xie and Xiaopeng
Zhang and Wei Wei and Wenyu Liu and Qi Tian and Xinggang Wang
- Abstract要約: 本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
- 参考スコア(独自算出の注目度): 107.21288355151015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representing and rendering dynamic scenes has been an important but
challenging task. Especially, to accurately model complex motions, high
efficiency is usually hard to guarantee. To achieve real-time dynamic scene
rendering while also enjoying high training and storage efficiency, we propose
4D Gaussian Splatting (4D-GS) as a holistic representation for dynamic scenes
rather than applying 3D-GS for each individual frame. In 4D-GS, a novel
explicit representation containing both 3D Gaussians and 4D neural voxels is
proposed. A decomposed neural voxel encoding algorithm inspired by HexPlane is
proposed to efficiently build Gaussian features from 4D neural voxels and then
a lightweight MLP is applied to predict Gaussian deformations at novel
timestamps. Our 4D-GS method achieves real-time rendering under high
resolutions, 82 FPS at an 800$\times$800 resolution on an RTX 3090 GPU while
maintaining comparable or better quality than previous state-of-the-art
methods. More demos and code are available at
https://guanjunwu.github.io/4dgs/.
- Abstract(参考訳): 動的シーンの表現とレンダリングは重要だが、難しい作業だった。
特に、複雑な動きを正確にモデル化するには、高い効率性を保証するのは難しい。
リアルタイムな動的シーンレンダリングを実現するために,各フレームに3D-GSを適用するのではなく,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
4d-gsでは、3次元ガウスと4次元ニューラルボクセルの両方を含む新しい明示表現が提案されている。
hexplaneにインスパイアされた分解型ニューラルボクセル符号化アルゴリズムを提案し、4次元ニューラルボクセルからガウス的特徴を効率的に構築し、新しいタイムスタンプでガウス的変形を予測するために軽量mlpを適用する。
われわれの4D-GS法は,RTX 3090 GPUの800$\times$800の解像度で82 FPSの高解像度でリアルタイムレンダリングを実現する。
デモとコードはhttps://guanjunwu.github.io/4dgs/。
関連論文リスト
- 4D Gaussian Splatting: Towards Efficient Novel View Synthesis for
Dynamic Scenes [35.115901298045316]
異方性4D XYZTガウスの動的シーンを表現する新しい手法である4D Gaussian Splatting (4DGS)を紹介した。
動的3次元ガウスを自然に構成する4次元ガウスを時間的にスライスすることで、各タイムスタンプのダイナミクスをモデル化する。
空間的時間的表現として、4DGSは複雑な詳細、特に急激な動きのあるシーンをモデル化する強力な能力を示す。
論文 参考訳(メタデータ) (2024-02-05T18:59:04Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳(メタデータ) (2024-01-23T08:44:26Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳(メタデータ) (2024-01-08T18:56:33Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [59.32318797882129]
本研究では,4次元ガウス分割表現に基づく効率的な4次元生成フレームワークであるDreamGaussian4Dを紹介する。
我々の重要な洞察は、ガウススプラッティングにおける空間変換の明示的なモデリングが、4次元生成設定により適しているということである。
DreamGaussian4Dは最適化時間を数時間から数分に短縮し、生成された3Dモーションの柔軟な制御を可能にし、3Dエンジンで効率的にレンダリングできるアニメーションメッシュを生成する。
論文 参考訳(メタデータ) (2023-12-28T17:16:44Z) - Spacetime Gaussian Feature Splatting for Real-Time Dynamic View
Synthesis [31.085829605917723]
本研究では,新しい動的シーン表現として時空間ガウス特徴分割法を提案する。
球面高調波をニューラル特徴に置き換えるスプレイト特徴レンダリングを導入する。
本手法は,小型ストレージを維持しながら,最先端のレンダリング品質と高速化を実現する。
論文 参考訳(メタデータ) (2023-12-28T04:14:55Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳(メタデータ) (2023-12-21T11:41:02Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human
Rendering [67.39272639454775]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳(メタデータ) (2023-12-10T17:07:37Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳(メタデータ) (2022-10-28T07:11:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。