論文の概要: 4D Gaussian Splatting with Scale-aware Residual Field and Adaptive Optimization for Real-time Rendering of Temporally Complex Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2412.06299v1
• Date: Mon, 09 Dec 2024 08:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:16.957542
• Title: 4D Gaussian Splatting with Scale-aware Residual Field and Adaptive Optimization for Real-time Rendering of Temporally Complex Dynamic Scenes
• Title（参考訳）: 規模認識型残留場を用いた4次元ガウス平滑化と時空間動的シーンのリアルタイムレンダリングのための適応最適化
• Authors: Jinbo Yan, Rui Peng, Luyang Tang, Ronggang Wang,
• Abstract要約: SaRO-GSはリアルタイムレンダリングを実現する新しい動的シーン表現である。 時間的に複雑な動的シーンを扱うために,スケールアウェアなResidual Fieldを導入する。 我々の手法は最先端の性能を実証した。
• 参考スコア（独自算出の注目度）: 19.24815625343669
• License:
• Abstract: Reconstructing dynamic scenes from video sequences is a highly promising task in the multimedia domain. While previous methods have made progress, they often struggle with slow rendering and managing temporal complexities such as significant motion and object appearance/disappearance. In this paper, we propose SaRO-GS as a novel dynamic scene representation capable of achieving real-time rendering while effectively handling temporal complexities in dynamic scenes. To address the issue of slow rendering speed, we adopt a Gaussian primitive-based representation and optimize the Gaussians in 4D space, which facilitates real-time rendering with the assistance of 3D Gaussian Splatting. Additionally, to handle temporally complex dynamic scenes, we introduce a Scale-aware Residual Field. This field considers the size information of each Gaussian primitive while encoding its residual feature and aligns with the self-splitting behavior of Gaussian primitives. Furthermore, we propose an Adaptive Optimization Schedule, which assigns different optimization strategies to Gaussian primitives based on their distinct temporal properties, thereby expediting the reconstruction of dynamic regions. Through evaluations on monocular and multi-view datasets, our method has demonstrated state-of-the-art performance. Please see our project page at https://yjb6.github.io/SaRO-GS.github.io.
• Abstract（参考訳）: ビデオシーケンスから動的シーンを再構築することは、マルチメディア領域において非常に有望な課題である。 従来の手法は進歩してきたが、大きな動きやオブジェクトの出現/消失といった時間的複雑さの遅さと管理に苦慮することが多い。 本稿では,動的シーンにおける時間的複雑さを効果的に処理しつつ,リアルタイムレンダリングを実現する新しい動的シーン表現として,SaRO-GSを提案する。 レンダリング速度の遅い問題に対処するため,ガウスのプリミティブな表現を採用し,ガウスを4次元空間で最適化する。 さらに,時間的に複雑な動的シーンを扱うために,スケールアウェアなResidual Fieldを導入する。 この分野は、ガウス的プリミティブの残像を符号化しながら各ガウス的プリミティブのサイズ情報を考慮し、ガウス的プリミティブの自己分離的振る舞いと整合する。 さらに,異なる時間特性に基づいてガウスプリミティブに異なる最適化戦略を割り当て,動的領域の再構築を高速化する適応最適化スケジュールを提案する。 単分子・多視点データセットの評価を通じて,本手法は最先端の性能を実証した。 プロジェクトページはhttps://yjb6.github.io/SaRO-GS.github.ioでご覧ください。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• Fully Explicit Dynamic Gaussian Splatting [22.889981393105554]
  3D Gaussian Splattingは、高密度な3D事前表現と明示的な表現を活用することで、静的シーンにおける高速かつ高品質なレンダリング結果を示している。 本稿では,Ex4DGSの収束性を改善するためのプログレッシブトレーニング手法とポイントバックトラッキング手法を提案する。 2080TiのGPU上で62fpsの高速レンダリングを実現するため,様々な場面での総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-10-21T04:25:43Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis [16.733855781461802]
  インプシット変形可能表現は、通常、標準空間と時間依存の変形場を持つ運動をモデル化する。 GauFReは、フォワードウォーピング変形を使用して、シーン幾何学の非剛体変換を明示的にモデル化する。 実験により,提案手法は従来の最先端のNeRF法やガウス法よりも高い効率と競争結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-18T18:59:03Z)
• DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
  我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。 動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。 次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。 我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
  論文  参考訳（メタデータ） (2023-12-13T06:30:51Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。