論文の概要: Divide-and-Conquer: Dual-Hierarchical Optimization for Semantic 4D Gaussian Spatting
- arxiv url: http://arxiv.org/abs/2503.19332v1
- Date: Tue, 25 Mar 2025 03:46:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 16:55:34.786618
- Title: Divide-and-Conquer: Dual-Hierarchical Optimization for Semantic 4D Gaussian Spatting
- Title(参考訳): Divide-and-Conquer:Semantic 4D Gaussian Spattingのためのデュアル階層最適化
- Authors: Zhiying Yan, Yiyuan Liang, Shilv Cai, Tao Zhang, Sheng Zhong, Luxin Yan, Xu Zou,
- Abstract要約: 本稿では,階層型ガウス流と階層型ガウス誘導からなるデュアル階層最適化(DHO)を提案する。
提案手法は,合成データセットと実世界のデータセットのベースラインを一貫して上回る。
- 参考スコア(独自算出の注目度): 16.15871890842964
- License:
- Abstract: Semantic 4D Gaussians can be used for reconstructing and understanding dynamic scenes, with temporal variations than static scenes. Directly applying static methods to understand dynamic scenes will fail to capture the temporal features. Few works focus on dynamic scene understanding based on Gaussian Splatting, since once the same update strategy is employed for both dynamic and static parts, regardless of the distinction and interaction between Gaussians, significant artifacts and noise appear. We propose Dual-Hierarchical Optimization (DHO), which consists of Hierarchical Gaussian Flow and Hierarchical Gaussian Guidance in a divide-and-conquer manner. The former implements effective division of static and dynamic rendering and features. The latter helps to mitigate the issue of dynamic foreground rendering distortion in textured complex scenes. Extensive experiments show that our method consistently outperforms the baselines on both synthetic and real-world datasets, and supports various downstream tasks. Project Page: https://sweety-yan.github.io/DHO.
- Abstract(参考訳): セマンティックな4Dガウスアンは静的なシーンよりも時間的変動があり、動的シーンの再構築と理解に使うことができる。
動的シーンを理解するために静的メソッドを直接適用することは、時間的特徴を捉えるのに失敗する。
ガウス的スプレイティングに基づく動的シーン理解に焦点をあてる作業はほとんどないが、この更新戦略が動的部分と静的部分の両方に一度だけ適用され、ガウス的要素の区別や相互作用によらず、重要なアーティファクトやノイズが現れる。
本稿では,階層型ガウス流と階層型ガウス誘導からなるDHO(Dual-Hierarchical Optimization)を提案する。
前者は静的および動的レンダリングと機能の効果的な分割を実装している。
後者は、テクスチャ化された複雑なシーンにおける動的フォアグラウンドレンダリングの歪みの問題を緩和するのに役立つ。
大規模な実験により,本手法は合成および実世界の両方のデータセットのベースラインを一貫して上回り,様々な下流タスクをサポートすることが示された。
プロジェクトページ: https://sweety-yan.github.io/DHO。
関連論文リスト
- 4D Gaussian Splatting with Scale-aware Residual Field and Adaptive Optimization for Real-time Rendering of Temporally Complex Dynamic Scenes [19.24815625343669]
SaRO-GSはリアルタイムレンダリングを実現する新しい動的シーン表現である。
時間的に複雑な動的シーンを扱うために,スケールアウェアなResidual Fieldを導入する。
我々の手法は最先端の性能を実証した。
論文 参考訳(メタデータ) (2024-12-09T08:44:19Z) - Feed-Forward Bullet-Time Reconstruction of Dynamic Scenes from Monocular Videos [101.48581851337703]
動的シーンのリアルタイム再構成と新しいビュー合成のための,モーション対応フィードフォワードモデルであるBTimerを提案する。
提案手法は,すべてのコンテキストフレームから情報を集約することにより,所定の目標("bullet')タイムスタンプにおける3次元ガウススティング表現の全体像を再構成する。
カジュアルなモノクロのダイナミックビデオが与えられた後、BTimerは150ms以内の弾道時間シーンを再構築し、静的および動的両方のシーンデータセットで最先端のパフォーマンスに到達した。
論文 参考訳(メタデータ) (2024-12-04T18:15:06Z) - UrbanGS: Semantic-Guided Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
UrbanGSは2Dセマンティックマップと既存の動的ガウスアプローチを使って静的オブジェクトとシーンを区別する。
動的オブジェクトに対して、学習可能な時間埋め込みを用いて時間情報を集約する。
提案手法は, 修復の質と効率性において, 最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-12-04T16:59:49Z) - DynSUP: Dynamic Gaussian Splatting from An Unposed Image Pair [41.78277294238276]
本稿では,ガウスアンを動的環境に適合させるために,事前のポーズを伴わずに2つの画像しか利用できない手法を提案する。
この戦略は、ダイナミックシーンを断片的に剛性成分に分解し、ダイナミックオブジェクトのカメラのポーズと動きを共同で推定する。
合成と実世界の両方のデータセットに対する実験により、我々の手法は最先端のアプローチを大きく上回っていることが示された。
論文 参考訳(メタデータ) (2024-12-01T15:25:33Z) - DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。
複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
論文 参考訳(メタデータ) (2024-11-18T05:49:16Z) - Fully Explicit Dynamic Gaussian Splatting [22.889981393105554]
3D Gaussian Splattingは、高密度な3D事前表現と明示的な表現を活用することで、静的シーンにおける高速かつ高品質なレンダリング結果を示している。
本稿では,Ex4DGSの収束性を改善するためのプログレッシブトレーニング手法とポイントバックトラッキング手法を提案する。
2080TiのGPU上で62fpsの高速レンダリングを実現するため,様々な場面での総合的な実験を行った。
論文 参考訳(メタデータ) (2024-10-21T04:25:43Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳(メタデータ) (2024-06-26T19:37:07Z) - DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。
動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。
次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。
我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
論文 参考訳(メタデータ) (2023-12-13T06:30:51Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳(メタデータ) (2023-08-18T17:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。