論文の概要: RoDUS: Robust Decomposition of Static and Dynamic Elements in Urban Scenes
- arxiv url: http://arxiv.org/abs/2403.09419v1
- Date: Thu, 14 Mar 2024 14:08:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 20:17:36.889064
- Title: RoDUS: Robust Decomposition of Static and Dynamic Elements in Urban Scenes
- Title(参考訳): RoDUS:都市景観における静的・動的要素のロバスト分解
- Authors: Thang-Anh-Quan Nguyen, Luis Roldão, Nathan Piasco, Moussab Bennehar, Dzmitry Tsishkou,
- Abstract要約: 都市景観における静的要素と動的要素を分解するパイプラインであるRoDUSについて,移動成分と非移動成分を念頭に分離したNeRFモデルを提案する。
この戦略により、シーン内のダイナミックスを正確にキャプチャし、背景再構成におけるNeRFによるアーティファクトの低減を実現することができる。
特に,KITTI-360およびPandasetデータセットを用いた実験により,挑戦的な都市景観を正確に静的かつ動的成分に分解する手法の有効性が示された。
- 参考スコア(独自算出の注目度): 3.1224202646855903
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The task of separating dynamic objects from static environments using NeRFs has been widely studied in recent years. However, capturing large-scale scenes still poses a challenge due to their complex geometric structures and unconstrained dynamics. Without the help of 3D motion cues, previous methods often require simplified setups with slow camera motion and only a few/single dynamic actors, leading to suboptimal solutions in most urban setups. To overcome such limitations, we present RoDUS, a pipeline for decomposing static and dynamic elements in urban scenes, with thoughtfully separated NeRF models for moving and non-moving components. Our approach utilizes a robust kernel-based initialization coupled with 4D semantic information to selectively guide the learning process. This strategy enables accurate capturing of the dynamics in the scene, resulting in reduced artifacts caused by NeRF on background reconstruction, all by using self-supervision. Notably, experimental evaluations on KITTI-360 and Pandaset datasets demonstrate the effectiveness of our method in decomposing challenging urban scenes into precise static and dynamic components.
- Abstract(参考訳): 近年,NeRFを用いた静的環境から動的物体を分離する作業が広く研究されている。
しかし、大規模なシーンの撮影は、複雑な幾何学的構造と制約のないダイナミクスのため、依然として課題となっている。
3Dモーションキューの助けがなければ、従来の手法ではカメラの動きが遅く、数人/数人のダイナミックアクターしか必要とせず、ほとんどの都市部では準最適解が得られる。
このような制約を克服するため,都市部の静的および動的要素を分解するパイプラインであるRoDUSを提案する。
提案手法では、4Dセマンティック情報と組み合わされた堅牢なカーネルベースの初期化を用いて学習プロセスを選択的にガイドする。
この戦略により、シーン内のダイナミックスを正確にキャプチャし、背景再構成におけるNeRFによるアーティファクトの低減を実現することができる。
特に,KITTI-360およびPandasetデータセットを用いた実験により,挑戦的な都市景観を正確に静的かつ動的成分に分解する手法の有効性が示された。
関連論文リスト
- Entity-NeRF: Detecting and Removing Moving Entities in Urban Scenes [32.24104290665675]
本研究は,知識ベースと統計戦略の強みを組み合わせた,Entity-NeRFと呼ばれる革新的な手法を紹介する。
我々の総合的な実験により, Entity-NeRFは移動物体の除去や静的な都市背景の再構築において, 既存の技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-03-24T13:27:49Z) - DRSM: efficient neural 4d decomposition for dynamic reconstruction in
stationary monocular cameras [21.07910546072467]
モノクロカメラにおける動的シーンの4次元分解問題に対処するための新しい枠組みを提案する。
本フレームワークでは,分解された静的・動的特徴面を用いて4次元シーンを表現し,高密度光線キャスティングによる動的領域の学習を強調する。
論文 参考訳(メタデータ) (2024-02-01T16:38:51Z) - Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
周期振動ガウスモデル(PVG)を提案する。
PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。
PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
論文 参考訳(メタデータ) (2023-11-30T13:53:50Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-03T17:59:55Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
我々はDynaMoNを提案する。DynaMoNは、カメラのポーズ推定と、高速で正確なノベルビュー合成のためのスタティックス中心のレイサンプリングのための動的コンテンツを扱う。
我々の新しい反復学習方式は、NeRFのトレーニングとポーズパラメータの更新を切り替えて、改良された再構成と軌道推定の品質を向上する。
論文 参考訳(メタデータ) (2023-09-16T08:46:59Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳(メタデータ) (2023-08-16T09:50:35Z) - BLiRF: Bandlimited Radiance Fields for Dynamic Scene Modeling [43.246536947828844]
本稿では,帯域制限された高次元信号の合成としてシーンを定式化し,時間と空間を分解するフレームワークを提案する。
我々は、照明、テクスチャ、長距離ダイナミクスの変化を含む複雑な動的シーンにまたがる魅力的な結果を実証する。
論文 参考訳(メタデータ) (2023-02-27T06:40:32Z) - Robust Dynamic Radiance Fields [79.43526586134163]
動的放射場再構成法は動的シーンの時間変化構造と外観をモデル化することを目的としている。
しかし、既存の手法では、正確なカメラポーズをStructure from Motion (SfM)アルゴリズムによって確実に推定できると仮定している。
カメラパラメータとともに静的および動的放射場を共同で推定することにより、このロバスト性問題に対処する。
論文 参考訳(メタデータ) (2023-01-05T18:59:51Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。