論文の概要: RoDyGS: Robust Dynamic Gaussian Splatting for Casual Videos

• arxiv url: http://arxiv.org/abs/2412.03077v1
• Date: Wed, 04 Dec 2024 07:02:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:17.416448
• Title: RoDyGS: Robust Dynamic Gaussian Splatting for Casual Videos
• Title（参考訳）: RoDyGS:カジュアルビデオのためのロバストなダイナミックガウススプレイティング
• Authors: Yoonwoo Jeong, Junmyeong Lee, Hoseung Choi, Minsu Cho,
• Abstract要約: 本稿では,カジュアルビデオから動的ガウススプラッティングを最適化するRoDyGSを提案する。 動的プリミティブと静的プリミティブを分離することで、シーンの動きと下層の幾何学を効果的に学習する。 また,広視野カメラとオブジェクトモーションと同時マルチビューキャプチャを提供する,包括的なベンチマークであるKubric-MRigを導入している。
• 参考スコア（独自算出の注目度）: 39.384910552854926
• License:
• Abstract: Dynamic view synthesis (DVS) has advanced remarkably in recent years, achieving high-fidelity rendering while reducing computational costs. Despite the progress, optimizing dynamic neural fields from casual videos remains challenging, as these videos do not provide direct 3D information, such as camera trajectories or the underlying scene geometry. In this work, we present RoDyGS, an optimization pipeline for dynamic Gaussian Splatting from casual videos. It effectively learns motion and underlying geometry of scenes by separating dynamic and static primitives, and ensures that the learned motion and geometry are physically plausible by incorporating motion and geometric regularization terms. We also introduce a comprehensive benchmark, Kubric-MRig, that provides extensive camera and object motion along with simultaneous multi-view captures, features that are absent in previous benchmarks. Experimental results demonstrate that the proposed method significantly outperforms previous pose-free dynamic neural fields and achieves competitive rendering quality compared to existing pose-free static neural fields. The code and data are publicly available at https://rodygs.github.io/.
• Abstract（参考訳）: 近年,動的ビュー合成(DVS)が著しく進歩し,計算コストを削減しつつ高忠実度レンダリングを実現している。 進歩にもかかわらず、カジュアルなビデオから動的ニューラルネットワークを最適化することは依然として困難であり、これらのビデオは、カメラ軌跡や下層のシーン幾何学のような直接的な3D情報を提供しない。 本稿では,カジュアルビデオから動的ガウススプラッティングの最適化パイプラインであるRoDyGSを紹介する。 動的プリミティブと静的プリミティブを分離することにより、シーンの運動と下層の幾何学を効果的に学習し、運動と幾何学的正規化項を組み込むことで、学習された動きと幾何学が物理的に妥当であることを保証する。 このベンチマークでは、カメラとオブジェクトの広範囲な動きと、以前のベンチマークにはない機能である同時マルチビューキャプチャが提供される。 実験結果から,提案手法は従来のポーズフリーな静的ニューラルネットワークよりも優れた性能を示し,既存のポーズフリーな静的ニューラルネットワークと比較して競合的なレンダリング品質を実現している。 コードとデータはhttps://rodygs.github.io/.com/で公開されている。

関連論文リスト

• Gaussian Splatting LK [0.11249583407496218]
  本稿では,動的ガウススティングフレームワークにおけるネイティブワープフィールドの正規化の可能性について検討する。 フォワードワープフィールドネットワークに固有の知識を利用して解析速度場を導出できることが示される。 このルーカス・カナーデ型解析正規化により,高ダイナミックなシーンを再構成する際の優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2024-07-16T01:50:43Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos [65.31707882676292]
  MoDGSは、カジュアルにキャプチャーされたモノクロビデオから、ダイナミックなシーンの新たなビューを描画する新しいパイプラインだ。 実験では、MoDGSはカジュアルにキャプチャされたモノクロビデオから、ダイナミックシーンの高品質なノベルビュー画像をレンダリングできることを示した。
  論文  参考訳（メタデータ） (2024-06-01T13:20:46Z)
• MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds [27.802537831023347]
  野生でカジュアルに撮影されたモノクロビデオから動的シーンの新たなビューを再構築し、合成するために設計された、モダンな4D再構成システムである4D Motion Scaffolds (MoSca)を紹介した。 動的レンダリングベンチマークにおける最先端のパフォーマンスと実動画での有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-05-27T17:59:07Z)
• 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
  異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。 4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。 さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
  論文  参考訳（メタデータ） (2024-02-05T18:59:04Z)
• SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
  我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。 我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。 我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
  論文  参考訳（メタデータ） (2023-12-20T03:54:03Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
  観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。 このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。 特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
  論文  参考訳（メタデータ） (2021-10-19T12:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。