Fugu-MT 論文翻訳(概要): 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes

論文の概要: 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes

arxiv url: http://arxiv.org/abs/2402.03307v3
Date: Tue, 2 Jul 2024 08:33:07 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 07:49:20.704892
Title: 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes
Title（参考訳）: 4D-Rotor Gaussian Splatting:動的シーンのための効率的な新しい視点合成を目指して
Authors: Yuanxing Duan, Fangyin Wei, Qiyu Dai, Yuhang He, Wenzheng Chen, Baoquan Chen,
Abstract要約: 異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。 4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
参考スコア（独自算出の注目度）: 33.14021987166436
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the problem of novel-view synthesis (NVS) for dynamic scenes. Recent neural approaches have accomplished exceptional NVS results for static 3D scenes, but extensions to 4D time-varying scenes remain non-trivial. Prior efforts often encode dynamics by learning a canonical space plus implicit or explicit deformation fields, which struggle in challenging scenarios like sudden movements or generating high-fidelity renderings. In this paper, we introduce 4D Gaussian Splatting (4DRotorGS), a novel method that represents dynamic scenes with anisotropic 4D XYZT Gaussians, inspired by the success of 3D Gaussian Splatting in static scenes. We model dynamics at each timestamp by temporally slicing the 4D Gaussians, which naturally compose dynamic 3D Gaussians and can be seamlessly projected into images. As an explicit spatial-temporal representation, 4DRotorGS demonstrates powerful capabilities for modeling complicated dynamics and fine details--especially for scenes with abrupt motions. We further implement our temporal slicing and splatting techniques in a highly optimized CUDA acceleration framework, achieving real-time inference rendering speeds of up to 277 FPS on an RTX 3090 GPU and 583 FPS on an RTX 4090 GPU. Rigorous evaluations on scenes with diverse motions showcase the superior efficiency and effectiveness of 4DRotorGS, which consistently outperforms existing methods both quantitatively and qualitatively.
Abstract（参考訳）: 動的シーンに対するノベルビュー合成(NVS)の問題点を考察する。最近のニューラルアプローチでは、静的な3Dシーンに対して例外的なNVS結果が達成されているが、4Dの時間変化シーンへの拡張は簡単ではない。それまでの取り組みは、しばしば、急激な動きや高忠実なレンダリングのような挑戦的なシナリオに苦しむ暗黙的または明示的な変形場に加えて、標準空間を学習することでダイナミクスをエンコードする。本稿では,静的なシーンにおける3次元ガウススティングの成功に触発された,異方性4D XYZTガウスの動的シーンを表現する新しい手法である4Dガウススティング(4DRotorGS)を紹介する。動的3次元ガウスを自然に構成し、シームレスに画像に投影できる4次元ガウスを時間的にスライスすることで、各タイムスタンプのダイナミクスをモデル化する。空間的時間的表現として、4DRotorGSは複雑なダイナミクスや細部をモデリングする強力な能力を実証している。さらに、高度に最適化されたCUDAアクセラレーションフレームワークで、RTX 3090 GPUで最大277FPS、RTX 4090 GPUで最大583FPSのリアルタイム推論レンダリング速度を実現する。多様な動きを持つシーンの厳密な評価は、4DRotorGSの優れた効率と有効性を示し、既存の手法を定量的にも質的にも一貫して上回っている。

関連論文リスト

Fully Explicit Dynamic Gaussian Splatting [22.889981393105554]
3D Gaussian Splattingは、高密度な3D事前表現と明示的な表現を活用することで、静的シーンにおける高速かつ高品質なレンダリング結果を示している。本稿では,Ex4DGSの収束性を改善するためのプログレッシブトレーニング手法とポイントバックトラッキング手法を提案する。 2080TiのGPU上で62fpsの高速レンダリングを実現するため,様々な場面での総合的な実験を行った。
論文参考訳（メタデータ） (2024-10-21T04:25:43Z)
S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points [30.46796069720543]
本稿では,離散的な3次元制御点を用いた4次元実世界の再構成をストリーミングする手法を提案する。この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。従来のグラフィックスと学習可能なパイプラインを効果的にマージすることにより、堅牢で効率的なローカルな6自由度(6自由度)モーション表現を提供する。
論文参考訳（メタデータ） (2024-08-23T12:51:49Z)
$\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
論文参考訳（メタデータ） (2024-05-30T17:57:08Z)
SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。我々の手法は、品質と効率の両面で既存の手法を超越している。動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文参考訳（メタデータ） (2024-04-04T18:05:18Z)
DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文参考訳（メタデータ） (2023-12-28T17:16:44Z)
Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis [28.455719771979876]
本研究では,新しい動的シーン表現として時空間ガウス特徴分割法を提案する。本手法は,小型ストレージを維持しながら,最先端のレンダリング品質と高速化を実現する。
論文参考訳（メタデータ） (2023-12-28T04:14:55Z)
Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。 4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文参考訳（メタデータ） (2023-12-21T11:41:02Z)
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。 HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文参考訳（メタデータ） (2023-10-12T17:21:41Z)
Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文参考訳（メタデータ） (2023-09-22T16:04:02Z)
Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文参考訳（メタデータ） (2023-08-18T17:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。