論文の概要: RelayGS: Reconstructing Dynamic Scenes with Large-Scale and Complex Motions via Relay Gaussians

• arxiv url: http://arxiv.org/abs/2412.02493v1
• Date: Tue, 03 Dec 2024 15:08:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:19.886598
• Title: RelayGS: Reconstructing Dynamic Scenes with Large-Scale and Complex Motions via Relay Gaussians
• Title（参考訳）: RelayGS: Relay Gaussianによる大規模かつ複雑な動きを伴う動的シーンの再構築
• Authors: Qiankun Gao, Yanmin Wu, Chengxiang Wen, Jiarui Meng, Luyang Tang, Jie Chen, Ronggang Wang, Jian Zhang,
• Abstract要約: 大規模で複雑な動きを伴う動的シーンの再構築は依然として大きな課題である。 Neural Radiance Fieldsや3D Gaussian Splatting(3DGS)のような最近の技術は、将来性を示しているが、それでも相当な動きを伴うシーンに苦戦している。 本稿では,3DGSに基づく動的シーンの表現と再構成を行うRelayGSを提案する。
• 参考スコア（独自算出の注目度）: 20.103270640146
• License:
• Abstract: Reconstructing dynamic scenes with large-scale and complex motions remains a significant challenge. Recent techniques like Neural Radiance Fields and 3D Gaussian Splatting (3DGS) have shown promise but still struggle with scenes involving substantial movement. This paper proposes RelayGS, a novel method based on 3DGS, specifically designed to represent and reconstruct highly dynamic scenes. Our RelayGS learns a complete 4D representation with canonical 3D Gaussians and a compact motion field, consisting of three stages. First, we learn a fundamental 3DGS from all frames, ignoring temporal scene variations, and use a learnable mask to separate the highly dynamic foreground from the minimally moving background. Second, we replicate multiple copies of the decoupled foreground Gaussians from the first stage, each corresponding to a temporal segment, and optimize them using pseudo-views constructed from multiple frames within each segment. These Gaussians, termed Relay Gaussians, act as explicit relay nodes, simplifying and breaking down large-scale motion trajectories into smaller, manageable segments. Finally, we jointly learn the scene's temporal motion and refine the canonical Gaussians learned from the first two stages. We conduct thorough experiments on two dynamic scene datasets featuring large and complex motions, where our RelayGS outperforms state-of-the-arts by more than 1 dB in PSNR, and successfully reconstructs real-world basketball game scenes in a much more complete and coherent manner, whereas previous methods usually struggle to capture the complex motion of players. Code will be publicly available at https://github.com/gqk/RelayGS
• Abstract（参考訳）: 大規模で複雑な動きを伴う動的シーンの再構築は依然として大きな課題である。 Neural Radiance Fieldsや3D Gaussian Splatting(3DGS)のような最近の技術は、将来性を示しているが、それでも相当な動きを伴うシーンに苦戦している。 本稿では3DGSに基づく新しい手法であるRelayGSを提案する。 我々のRelayGSは、標準3次元ガウスと3つのステージからなるコンパクトな運動場を持つ完全な4次元表現を学習する。 まず、すべてのフレームから基本的な3DGSを学習し、時間的な場面の変動を無視し、学習可能なマスクを用いて、動きの少ない背景から非常にダイナミックな前景を分離する。 第2に、分離された前景ガウスの複数のコピーを第1段階から複製し、それぞれが時間セグメントに対応し、各セグメント内の複数のフレームから構築された擬似ビューを用いてそれらを最適化する。 これらのガウシアンは、リレー・ガウシアン(Relay Gaussian)と呼ばれ、明示的なリレーノードとして機能し、大規模な運動軌道を単純化し、より小さく管理可能なセグメントに分割する。 最後に、私たちはシーンの時間的動きを共同で学び、最初の2段階から学んだ標準ガウスを洗練させます。 我々は,PSNRにおける2つの動的シーンデータセットの徹底的な実験を行い,RelayGSはPSNRにおいて1dB以上の最先端を達成し,より完全で一貫性のある実際のバスケットボールシーンの再構築に成功した。 コードはhttps://github.com/gqk/RelayGSで公開される。

関連論文リスト

• Occam's LGS: A Simple Approach for Language Gaussian Splatting [57.00354758206751]
  言語接地型3次元ガウススプラッティングの高度な技術は、単に不要であることを示す。 オッカムのカミソリを手作業に適用し、重み付けされた多視点特徴集計を行う。 我々の結果は2桁のスピードアップによる最先端の結果を提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:50:37Z)
• DynSUP: Dynamic Gaussian Splatting from An Unposed Image Pair [41.78277294238276]
  本稿では,ガウスアンを動的環境に適合させるために,事前のポーズを伴わずに2つの画像しか利用できない手法を提案する。 この戦略は、ダイナミックシーンを断片的に剛性成分に分解し、ダイナミックオブジェクトのカメラのポーズと動きを共同で推定する。 合成と実世界の両方のデータセットに対する実験により、我々の手法は最先端のアプローチを大きく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-01T15:25:33Z)
• Fully Explicit Dynamic Gaussian Splatting [22.889981393105554]
  3D Gaussian Splattingは、高密度な3D事前表現と明示的な表現を活用することで、静的シーンにおける高速かつ高品質なレンダリング結果を示している。 本稿では,Ex4DGSの収束性を改善するためのプログレッシブトレーニング手法とポイントバックトラッキング手法を提案する。 2080TiのGPU上で62fpsの高速レンダリングを実現するため,様々な場面での総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-10-21T04:25:43Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• InfoGaussian: Structure-Aware Dynamic Gaussians through Lightweight Information Shaping [9.703830846219441]
  本研究では,運動ネットワークにおける相関ガウス間の移動共鳴を強制する手法を開発した。 動作ネットワークを形作るための軽量な最適化を施した効率的なコントラスト訓練パイプラインを開発する。 提案手法は,挑戦的な場面で評価し,大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2024-06-09T19:33:32Z)
• DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
  我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。 動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。 次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。 我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
  論文  参考訳（メタデータ） (2023-12-13T06:30:51Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。