論文の概要: Gaussians on their Way: Wasserstein-Constrained 4D Gaussian Splatting with State-Space Modeling

• arxiv url: http://arxiv.org/abs/2412.00333v2
• Date: Thu, 05 Dec 2024 05:42:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 11:19:30.399617
• Title: Gaussians on their Way: Wasserstein-Constrained 4D Gaussian Splatting with State-Space Modeling
• Title（参考訳）: Gassian on their way: Wasserstein-Constrained 4D Gaussian Splatting with State-Space Modeling
• Authors: Junli Deng, Yihao Luo,
• Abstract要約: 現実世界と同じように自然に3Dガウスを移動させる方法を紹介します。 先行予測と現在の観測とを融合した状態整合フィルタを提案する。 また、ワッサーシュタイン距離正規化を用いて、ガウスパラメータのスムーズで一貫した更新を保証する。
• 参考スコア（独自算出の注目度）: 4.335875257359598
• License:
• Abstract: Dynamic scene rendering has taken a leap forward with the rise of 4D Gaussian Splatting, but there's still one elusive challenge: how to make 3D Gaussians move through time as naturally as they would in the real world, all while keeping the motion smooth and consistent. In this paper, we unveil a fresh approach that blends state-space modeling with Wasserstein geometry, paving the way for a more fluid and coherent representation of dynamic scenes. We introduce a State Consistency Filter that merges prior predictions with the current observations, enabling Gaussians to stay true to their way over time. We also employ Wasserstein distance regularization to ensure smooth, consistent updates of Gaussian parameters, reducing motion artifacts. Lastly, we leverage Wasserstein geometry to capture both translational motion and shape deformations, creating a more physically plausible model for dynamic scenes. Our approach guides Gaussians along their natural way in the Wasserstein space, achieving smoother, more realistic motion and stronger temporal coherence. Experimental results show significant improvements in rendering quality and efficiency, outperforming current state-of-the-art techniques.
• Abstract（参考訳）: ダイナミックなシーンレンダリングは、4Dガウシアン・スプラッティングの台頭とともに飛躍的な進歩を遂げましたが、3Dガウシアンを現実世界と同じように自然に動きながら、動きを滑らかで一貫したままにする方法には、まだまだ大きな課題があります。 本稿では,状態空間モデリングとワッサーシュタイン幾何学を融合し,動的シーンのより流動的でコヒーレントな表現への道を開く新しいアプローチを明らかにする。 我々は、先行予測と現在の観測とをマージする状態一貫性フィルタを導入し、ガウシアンを時間とともに真に維持することを可能にする。 また、ワッサーシュタイン距離正規化を用いて、ガウスパラメータのスムーズで一貫した更新を保証し、運動アーティファクトを減少させる。 最後に、ワッサーシュタイン幾何を利用して、翻訳運動と形状変形の両方をキャプチャし、動的シーンのより物理的に妥当なモデルを作成する。 我々のアプローチはワッサーシュタイン空間におけるガウスの自然な方法に沿って導いており、より滑らかでより現実的な動きとより強い時間的コヒーレンスを実現している。 実験により、レンダリング品質と効率が大幅に向上し、最先端技術よりも優れた結果が得られた。

関連論文リスト

• DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
  本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。 複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T05:49:16Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• Gaussian Splatting LK [0.11249583407496218]
  本稿では,動的ガウススティングフレームワークにおけるネイティブワープフィールドの正規化の可能性について検討する。 フォワードワープフィールドネットワークに固有の知識を利用して解析速度場を導出できることが示される。 このルーカス・カナーデ型解析正規化により,高ダイナミックなシーンを再構成する際の優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2024-07-16T01:50:43Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• GaussianPrediction: Dynamic 3D Gaussian Prediction for Motion Extrapolation and Free View Synthesis [71.24791230358065]
  動的シーンモデリングと将来のシナリオ合成により,3次元ガウス表現を実現する新しいフレームワークを提案する。 GaussianPredictionは、ダイナミックなシーンのビデオ観察を使用して、あらゆる視点から将来の状態を予測できる。 本フレームワークは,合成データセットと実世界のデータセットの両方で優れた性能を示し,将来の環境の予測とレンダリングの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T06:47:55Z)
• GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation [28.780488884938997]
  連続するフレーム間の3次元ガウス流と画素速度のダイナミクスを結合する新しい概念であるガウス流を導入する。 提案手法は,ガウススプラッティングを用いた4次元動的コンテンツ生成と4次元新規ビュー合成に有効である。 提案手法は, 4次元生成と4次元新規ビュー合成の両課題に対して, 最先端の成果を得る。
  論文  参考訳（メタデータ） (2024-03-19T02:22:21Z)
• Gaussian Splashing: Unified Particles for Versatile Motion Synthesis and Rendering [41.589093951039814]
  立体と流体の物理アニメーションを3Dガウススティング(3DGS)と統合し、3DGSを用いて再構成された仮想シーンにおける新たな効果を創出する。 我々のフレームワークは動的流体上の表面ハイライトを現実的に再現し、新しいビューからシーンオブジェクトと流体間の相互作用を容易にする。
  論文  参考訳（メタデータ） (2024-01-27T06:45:22Z)
• GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis [17.572987038801475]
  変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。 差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。 我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:03Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。