論文の概要: H3D-DGS: Exploring Heterogeneous 3D Motion Representation for Deformable 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2408.13036v3
- Date: Tue, 21 Oct 2025 08:03:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:02.237824
- Title: H3D-DGS: Exploring Heterogeneous 3D Motion Representation for Deformable 3D Gaussian Splatting
- Title（参考訳）: H3D-DGS:変形可能な3次元ガウス平滑化のための不均一な3次元運動表現の探索
- Authors: Bing He, Yunuo Chen, Guo Lu, Qi Wang, Qunshan Gu, Rong Xie, Li Song, Wenjun Zhang,
- Abstract要約: ダイナミックシーンの再構築は、3Dビジョンにおいて永続的な課題となる。
変形可能な3Dガウススプラッティングは,リアルタイムレンダリングと高視認性を実現するため,この作業に有効な方法として登場した。
このアプローチは、動的シーンを標準空間における静的な表現と時間変化のシーンモーションに分解する。
Neu3DVおよびCMU-Panopticデータセットを用いた実験により,本手法は最先端の変形可能な3次元ガウススプラッティング技術よりも優れた性能が得られることが示された。
- 参考スコア（独自算出の注目度）: 39.2960379257236
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Dynamic scene reconstruction poses a persistent challenge in 3D vision. Deformable 3D Gaussian Splatting has emerged as an effective method for this task, offering real-time rendering and high visual fidelity. This approach decomposes a dynamic scene into a static representation in a canonical space and time-varying scene motion. Scene motion is defined as the collective movement of all Gaussian points, and for compactness, existing approaches commonly adopt implicit neural fields or sparse control points. However, these methods predominantly rely on gradient-based optimization for all motion information. Due to the high degree of freedom, they struggle to converge on real-world datasets exhibiting complex motion. To preserve the compactness of motion representation and address convergence challenges, this paper proposes heterogeneous 3D control points, termed \textbf{H3D control points}, whose attributes are obtained using a hybrid strategy combining optical flow back-projection and gradient-based methods. This design decouples directly observable motion components from those that are geometrically occluded. Specifically, components of 3D motion that project onto the image plane are directly acquired via optical flow back projection, while unobservable portions are refined through gradient-based optimization. Experiments on the Neu3DV and CMU-Panoptic datasets demonstrate that our method achieves superior performance over state-of-the-art deformable 3D Gaussian splatting techniques. Remarkably, our method converges within just 100 iterations and achieves a per-frame processing speed of 2 seconds on a single NVIDIA RTX 4070 GPU.
- Abstract（参考訳）: 動的シーン再構成は、3Dビジョンにおいて永続的な課題を生じさせる。
変形可能な3Dガウススプラッティングは、リアルタイムレンダリングと高い視覚的忠実度を提供する、このタスクの効果的な方法として登場した。
このアプローチは、動的シーンを標準空間における静的な表現と時間変化のシーンモーションに分解する。
シーン運動はすべてのガウス点の集合運動として定義され、コンパクト性については、既存のアプローチでは暗黙の神経場やスパース制御点が一般的である。
しかしながら、これらの手法は主にすべての動き情報に対する勾配に基づく最適化に依存している。
自由度が高いため、複雑な動きを示す現実世界のデータセットに収束するのに苦労する。
動作表現のコンパクトさとアドレス収束の課題を維持するため,光学流の後方投影法と勾配法を組み合わせたハイブリッド戦略により特性を得られる異種3次元制御点である「textbf{H3D制御点」を提案する。
この設計は、幾何学的に無視されているものから直接観測可能な運動成分を分離する。
具体的には、画像平面に投影される3次元運動の成分は、光学フローバックプロジェクションによって直接取得されるが、観測不能な部分は勾配に基づく最適化によって洗練される。
Neu3DVおよびCMU-Panopticデータセットを用いた実験により,本手法は最先端の変形可能な3次元ガウススプラッティング技術よりも優れた性能が得られることが示された。
注目すべきことに,本手法は100イテレーション以内に収束し,NVIDIA RTX 4070 GPUでフレーム単位の処理速度を2秒に短縮する。
関連論文リスト
- Easi3R: Estimating Disentangled Motion from DUSt3R Without Training [48.87063562819018]
Easi3Rは,4次元再構成のための簡易かつ効率的なトレーニングフリー手法である。
提案手法は,事前学習やネットワークファインチューニングの必要性を排除し,推論中の注意適応を適用した。
実世界のダイナミックビデオの実験では、従来の最先端手法よりも軽量な注意適応が著しく優れていたことが示されている。
論文 参考訳（メタデータ） (2025-03-31T17:59:58Z) - Disentangled 4D Gaussian Splatting: Towards Faster and More Efficient Dynamic Scene Rendering [12.27734287104036]
2次元画像から動的シーンを合成する新アンタングルビュー合成(NVS)は重要な課題である。
時間的および空間的変形を両立させる新しい表現・レンダリング手法であるDisentangled 4D Gaussianting(Disentangled4DGS)を導入する。
提案手法は,3090 GPU上での1352times1014$の解像度で,343FPSの平均レンダリング速度を実現している。
論文 参考訳（メタデータ） (2025-03-28T05:46:02Z) - Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。
本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
論文 参考訳（メタデータ） (2024-12-09T12:02:11Z) - 4D SlingBAG: spatial-temporal coupled Gaussian ball for large-scale dynamic 3D photoacoustic iterative reconstruction [20.286369270523245]
本研究では,ガウス球適応成長(4D SlingBAG)アルゴリズムという新しい手法を提案する。
本手法は点雲の各ガウス球面に時空間結合変形関数を適用し,動的3次元PAシーンの変形特性を明示的に学習する。
フレーム毎にSlingBAGアルゴリズムを個別に使用することにより再構成を行うのに比べ,計算時間を大幅に削減し,メモリ消費を極端に低減する。
論文 参考訳（メタデータ） (2024-12-05T06:15:26Z) - Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly Training for 4D Reconstruction [12.111389926333592]
現在の3DGSベースのストリーミング手法は、ガウス原始体を均一に扱い、密度化されたガウスを常に更新する。
そこで本研究では, 反復的流動性4次元動的空間再構成のための新しい3段階パイプラインを提案する。
提案手法は,オンライン4次元再構成における最先端性能を実現し,実時間トレーニング速度の20%向上,表現品質の向上,リアルタイムレンダリング能力の向上を実証する。
論文 参考訳（メタデータ） (2024-11-22T10:47:47Z) - $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。
既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。
動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T17:57:08Z) - Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels [35.27805034331218]
単一生成ビデオから4D表現を正確に再構成する新しい再構成モデルVidu4Dを提案する。
Vidu4Dのコアとなるのは、提案した動的ガウスサーフェス(DGS)技術である。
論文 参考訳（メタデータ） (2024-05-27T04:43:44Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。
静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。
我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
論文 参考訳（メタデータ） (2023-12-28T18:53:39Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳（メタデータ） (2023-12-21T11:41:02Z) - Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。
学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。
提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
論文 参考訳（メタデータ） (2023-12-06T11:25:52Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。