論文の概要: Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos

• arxiv url: http://arxiv.org/abs/2406.18717v1
• Date: Wed, 26 Jun 2024 19:37:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 16:06:39.742754
• Title: Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos
• Title（参考訳）: Casual Monocular Videoの新しいビュー合成のための動的ガウス大理石
• Authors: Colton Stearns, Adam Harley, Mikaela Uy, Florian Dubost, Federico Tombari, Gordon Wetzstein, Leonidas Guibas,
• Abstract要約: 既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石 (DGMarbles) を提案する。 我々は,Nvidia Dynamic ScenesデータセットとDycheck iPhoneデータセットを評価し,DGMarblesが他のガウシアンベースラインを著しく上回ることを示す。
• 参考スコア（独自算出の注目度）: 58.22272760132996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian splatting has become a popular representation for novel-view synthesis, exhibiting clear strengths in efficiency, photometric quality, and compositional edibility. Following its success, many works have extended Gaussians to 4D, showing that dynamic Gaussians maintain these benefits while also tracking scene geometry far better than alternative representations. Yet, these methods assume dense multi-view videos as supervision, constraining their use to controlled capture settings. In this work, we extend the capability of Gaussian scene representations to casually captured monocular videos. We show that existing 4D Gaussian methods dramatically fail in this setup because the monocular setting is underconstrained. Building off this finding, we propose Dynamic Gaussian Marbles (DGMarbles), consisting of three core modifications that target the difficulties of the monocular setting. First, DGMarbles uses isotropic Gaussian "marbles", reducing the degrees of freedom of each Gaussian, and constraining the optimization to focus on motion and appearance over local shape. Second, DGMarbles employs a hierarchical divide-and-conquer learning strategy to guide the optimization towards solutions with coherent motion. Finally, DGMarbles adds image-level and geometry-level priors into the optimization, including a tracking loss that takes advantage of recent progress in point tracking. By constraining the optimization in these ways, DGMarbles learns Gaussian trajectories that enable novel-view rendering and accurately capture the 3D motion of the scene elements. We evaluate on the (monocular) Nvidia Dynamic Scenes dataset and the Dycheck iPhone dataset, and show that DGMarbles significantly outperforms other Gaussian baselines in quality, and is on-par with non-Gaussian representations, all while maintaining the efficiency, compositionality, editability, and tracking benefits of Gaussians.
• Abstract（参考訳）: ガウスのスプラッティングは、効率性、光度品質、組成順応性の明確な強みを示すノベルビュー合成の一般的な表現となっている。 成功の後、多くの作品がガウスを4Dに拡張し、ダイナミックガウスがこれらの利点を維持しつつ、シーン幾何学を代替表現よりもはるかに良く追跡していることを示した。 しかし、これらの手法は、密集した多視点映像を監視対象としており、キャプチャ設定の制御に使用を制限している。 本研究では,ガウスシーン表現の能力を,カジュアルに捉えたモノクロビデオに拡張する。 既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 そこで本研究では,DGマーブル (Dynamic Gaussian Marbles, DGマーブル) を提案する。 まず、DGMarblesは等方的ガウスの「大理石」を使い、各ガウスの自由度を減らし、局所的な形状よりも動きや外観に焦点を合わせるよう最適化を制約する。 第二に、DGMarblesは階層的な分母学習戦略を用いて、コヒーレントな動きを持つ解への最適化を導く。 最後に、DGMarblesは、最近のポイントトラッキングの進歩を生かしたトラッキング損失を含む、画像レベルと幾何学レベルの優先順位を最適化に追加する。 これらの方法で最適化を制約することにより、DGMarblesは、新しいビューレンダリングを可能にし、シーン要素の3Dモーションを正確にキャプチャするガウス軌跡を学習する。 DGMarblesはガウス的でない表現と同等であり,効率,構成性,編集性,およびガウス的メリットの維持を両立している。

関連論文リスト

• GaussianForest: Hierarchical-Hybrid 3D Gaussian Splatting for Compressed Scene Modeling [40.743135560583816]
  本稿では,ハイブリッド3Dガウスの森として景観を階層的に表現するガウス・フォレスト・モデリング・フレームワークを紹介する。 実験により、ガウス・フォレストは同等の速度と品質を維持するだけでなく、圧縮速度が10倍を超えることが示されている。
  論文  参考訳（メタデータ） (2024-06-13T02:41:11Z)
• GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
  3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。 本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:51Z)
• RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
  ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。 それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。 様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-30T16:54:59Z)
• Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos [27.531394287148384]
  DG-Mesh(Dynamic Gaussians Mesh)は、単一のモノクロビデオから高忠実で時間に一貫性のあるメッシュを再構築するフレームワークである。 我々の研究は、最近の3Dガウススプラッティングの進歩を活用して、ビデオから時間的一貫性のあるメッシュシーケンスを構築する。 メッシュガイドによる密度化と変形したガウスへのプルーニングによるメッシュ再構築を実現するため,均等に分散したガウスアンを奨励するガウス・メシュアンチョリングを導入する。
  論文  参考訳（メタデータ） (2024-04-18T17:58:16Z)
• GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation [28.780488884938997]
  連続するフレーム間の3次元ガウス流と画素速度のダイナミクスを結合する新しい概念であるガウス流を導入する。 提案手法は,ガウススプラッティングを用いた4次元動的コンテンツ生成と4次元新規ビュー合成に有効である。 提案手法は, 4次元生成と4次元新規ビュー合成の両課題に対して, 最先端の成果を得る。
  論文  参考訳（メタデータ） (2024-03-19T02:22:21Z)
• GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting [82.29476781526752]
  高度にスパースな視点から3Dオブジェクトを再構成・レンダリングすることは、3Dビジョン技術の応用を促進する上で非常に重要である。 GaussianObjectは、Gaussian splattingで3Dオブジェクトを表現してレンダリングするフレームワークで、4つの入力イメージだけで高いレンダリング品質を実現する。 GaussianObjectは、MipNeRF360、OmniObject3D、OpenIllumination、および私たちが収集した未提示画像など、いくつかの挑戦的なデータセットで評価されている。
  論文  参考訳（メタデータ） (2024-02-15T18:42:33Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis [17.572987038801475]
  変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。 差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。 我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:03Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。