論文の概要: DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments

• arxiv url: http://arxiv.org/abs/2409.10041v1
• Date: Mon, 16 Sep 2024 07:11:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 16:30:58.861393
• Title: DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments
• Title（参考訳）: DENSER:ダイナミックな都市環境を再現する3Dガウススプレイティング
• Authors: Mahmud A. Mohamad, Gamal Elghazaly, Arthur Hubert, Raphael Frank,
• Abstract要約: 動的オブジェクトの表現を大幅に強化するフレームワークであるDENSERを提案する。 提案手法は最先端の手法を広いマージンで大幅に上回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents DENSER, an efficient and effective approach leveraging 3D Gaussian splatting (3DGS) for the reconstruction of dynamic urban environments. While several methods for photorealistic scene representations, both implicitly using neural radiance fields (NeRF) and explicitly using 3DGS have shown promising results in scene reconstruction of relatively complex dynamic scenes, modeling the dynamic appearance of foreground objects tend to be challenging, limiting the applicability of these methods to capture subtleties and details of the scenes, especially far dynamic objects. To this end, we propose DENSER, a framework that significantly enhances the representation of dynamic objects and accurately models the appearance of dynamic objects in the driving scene. Instead of directly using Spherical Harmonics (SH) to model the appearance of dynamic objects, we introduce and integrate a new method aiming at dynamically estimating SH bases using wavelets, resulting in better representation of dynamic objects appearance in both space and time. Besides object appearance, DENSER enhances object shape representation through densification of its point cloud across multiple scene frames, resulting in faster convergence of model training. Extensive evaluations on KITTI dataset show that the proposed approach significantly outperforms state-of-the-art methods by a wide margin. Source codes and models will be uploaded to this repository https://github.com/sntubix/denser
• Abstract（参考訳）: 本稿では,3次元ガウススプラッティング(3DGS)を有効利用した動的都市環境の再構築手法であるDENSERを提案する。 光写実的シーン表現のいくつかの手法は、暗黙的にニューラルラディアンス場(NeRF)を使用し、3DGSを明示的に使用することにより、比較的複雑な動的シーンのシーン再構成において有望な結果を示す一方で、前景オブジェクトのダイナミックな外観をモデル化することは困難であり、これらの手法の適用性は、シーンの微妙さや詳細、特に遠くのダイナミックなオブジェクトを捉えるために制限される。 この目的のために,動的オブジェクトの表現を大幅に強化し,運転シーンにおける動的オブジェクトの外観を正確にモデル化するフレームワークであるDENSERを提案する。 動的オブジェクトの外観をモデル化するために,Spherical Harmonics(SH)を直接使用する代わりに,ウェーブレットを用いてSHベースを動的に推定することを目的とした新しい手法を導入,統合し,空間と時間の両方で動的オブジェクトの外観を表現する。 オブジェクトの外観に加えて、DENSERは複数のシーンフレームにまたがる点雲の密度化を通じてオブジェクトの形状表現を強化し、モデルトレーニングのより高速な収束をもたらす。 KITTIデータセットの大規模な評価は,提案手法が最先端手法よりも広いマージンで大幅に優れていることを示している。 ソースコードとモデルは、このリポジトリ https://github.com/sntubix/denserにアップロードされる。

関連論文リスト

• Template-free Articulated Gaussian Splatting for Real-time Reposable Dynamic View Synthesis [21.444265403717015]
  本稿では,ビデオから動的オブジェクトのスケルトンモデルを自動的に検出する手法を提案する。 スーパーポイントを剛性部分として扱うことで、直感的な手がかりによって基盤となる骨格モデルを発見し、キネマティックモデルを用いて最適化することができる。 再使用可能な3Dオブジェクトの取得において,本手法の有効性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-12-07T07:35:09Z)
• Urban4D: Semantic-Guided 4D Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
  Urban4Dは、深い2Dセマンティックマップ生成の進歩に触発されたセマンティック誘導分解戦略である。 我々のアプローチは、信頼できるセマンティック・ガウシアンを通して潜在的に動的対象を区別する。 実世界のデータセットでの実験では、Urban4Dは従来の最先端の手法と同等または優れた品質を実現している。
  論文  参考訳（メタデータ） (2024-12-04T16:59:49Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
  周期振動ガウスモデル(PVG)を提案する。 PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。 PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
  論文  参考訳（メタデータ） (2023-11-30T13:53:50Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• DOT: Dynamic Object Tracking for Visual SLAM [83.69544718120167]
  DOTはインスタンスセグメンテーションとマルチビュー幾何を組み合わせて、動的オブジェクトのマスクを生成する。 実際にどのオブジェクトが動いているかを判断するために、DOTは、潜在的にダイナミックなオブジェクトの最初のインスタンスを抽出し、次に推定されたカメラモーションで、測光再投射誤差を最小限にして、そのようなオブジェクトを追跡する。 提案手法はORB-SLAM 2の精度とロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-09-30T18:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。