論文の概要: Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2403.11447v1
• Date: Mon, 18 Mar 2024 03:46:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:47:44.205564
• Title: Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction
• Title（参考訳）: 動的シーンの効率的な再構成のための運動認識型3次元ガウス切削法
• Authors: Zhiyang Guo, Wengang Zhou, Li Li, Min Wang, Houqiang Li,
• Abstract要約: 動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
• 参考スコア（独自算出の注目度）: 89.53963284958037
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: 3D Gaussian Splatting (3DGS) has become an emerging tool for dynamic scene reconstruction. However, existing methods focus mainly on extending static 3DGS into a time-variant representation, while overlooking the rich motion information carried by 2D observations, thus suffering from performance degradation and model redundancy. To address the above problem, we propose a novel motion-aware enhancement framework for dynamic scene reconstruction, which mines useful motion cues from optical flow to improve different paradigms of dynamic 3DGS. Specifically, we first establish a correspondence between 3D Gaussian movements and pixel-level flow. Then a novel flow augmentation method is introduced with additional insights into uncertainty and loss collaboration. Moreover, for the prevalent deformation-based paradigm that presents a harder optimization problem, a transient-aware deformation auxiliary module is proposed. We conduct extensive experiments on both multi-view and monocular scenes to verify the merits of our work. Compared with the baselines, our method shows significant superiority in both rendering quality and efficiency.
• Abstract（参考訳）: 3Dガウススプラッティング(3DGS)は動的シーン再構築の新たなツールとなった。 しかし,既存の手法は主に静的3DGSを時間変化表現に拡張することに焦点を当て,2次元観察によるリッチな動作情報を見渡すことで,性能劣化とモデル冗長性に悩まされている。 そこで本研究では,動的3DGSの様々なパラダイムを改善するために,光学的流れから有用な動き手がかりを抽出する動的シーン再構成のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 次に,不確実性と損失の協調に関する新たな洞察とともに,新しいフロー拡張手法を導入する。 さらに, より難しい最適化問題を示す先行的な変形に基づくパラダイムに対して, 過渡対応変形補助モジュールを提案する。 我々は多視点シーンと単眼シーンの両方で広範な実験を行い、作品のメリットを検証した。 本手法は,ベースラインと比較して,レンダリング品質と効率の両面で有意な優位性を示した。

関連論文リスト

• SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
  本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction [24.33543853742041]
  3Dガウススティング(3DGS)は実用的でスケーラブルな再構築手法として登場した。 暗黙的ニューラルネットワークの出力としてモデル化することで,スプレート特徴を効果的に正規化する最適化手法を提案する。 当社のアプローチは,異なるセットアップやシーンの複雑さをまたいだ広範なテストによって実証されるような,静的および動的ケースを効果的に処理する。
  論文  参考訳（メタデータ） (2024-09-17T14:04:20Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• Mono-STAR: Mono-camera Scene-level Tracking and Reconstruction [13.329040492332988]
  我々は,意味融合,高速モーショントラッキング,非剛性物体の変形,トポロジ的変化を同時にサポートする最初のリアルタイム3次元再構成システムであるMono-STARを提案する。
  論文  参考訳（メタデータ） (2023-01-30T19:17:03Z)
• Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes [19.810725397641406]
  シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。 まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。 第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-14T09:43:23Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)
• Motion Guided 3D Pose Estimation from Videos [81.14443206968444]
  本研究では,2次元ポーズから1次元の人物ポーズ推定を行う問題に対して,運動損失と呼ばれる新たな損失関数を提案する。 運動損失の計算では、ペアワイズ・モーション・エンコーディング(ペアワイズ・モーション・エンコーディング)と呼ばれる単純なキーポイント・モーションの表現が導入された。 UGCN(U-shaped GCN)と呼ばれる新しいグラフ畳み込みネットワークアーキテクチャを設計し,短期および長期の動作情報の両方をキャプチャする。
  論文  参考訳（メタデータ） (2020-04-29T06:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。