論文の概要: Multi-Level Neural Scene Graphs for Dynamic Urban Environments
- arxiv url: http://arxiv.org/abs/2404.00168v1
- Date: Fri, 29 Mar 2024 21:52:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 06:56:43.491868
- Title: Multi-Level Neural Scene Graphs for Dynamic Urban Environments
- Title(参考訳): 動的都市環境のためのマルチレベルニューラルシーングラフ
- Authors: Tobias Fischer, Lorenzo Porzi, Samuel Rota Bulò, Marc Pollefeys, Peter Kontschieder,
- Abstract要約: 本稿では, 動的都市環境に対する新しい分解可能放射場アプローチを提案する。
本稿では,数百の高速移動物体を含む数十のシーケンスから数千の画像にスケールする多段階ニューラルシーングラフ表現を提案する。
- 参考スコア(独自算出の注目度): 64.26401304233843
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We estimate the radiance field of large-scale dynamic areas from multiple vehicle captures under varying environmental conditions. Previous works in this domain are either restricted to static environments, do not scale to more than a single short video, or struggle to separately represent dynamic object instances. To this end, we present a novel, decomposable radiance field approach for dynamic urban environments. We propose a multi-level neural scene graph representation that scales to thousands of images from dozens of sequences with hundreds of fast-moving objects. To enable efficient training and rendering of our representation, we develop a fast composite ray sampling and rendering scheme. To test our approach in urban driving scenarios, we introduce a new, novel view synthesis benchmark. We show that our approach outperforms prior art by a significant margin on both established and our proposed benchmark while being faster in training and rendering.
- Abstract(参考訳): 環境条件の異なる複数車両からの大規模動的領域の放射界を推定する。
このドメインの以前の作業は、静的な環境に制限されているか、単一のショートビデオ以上のスケールしないか、動的オブジェクトインスタンスを別々に表現するのに苦労している。
この目的のために, 動的都市環境に対する新しい分解可能な放射場アプローチを提案する。
本稿では,数百の高速移動物体を含む数十のシーケンスから数千の画像にスケールする多段階ニューラルシーングラフ表現を提案する。
表現の効率的なトレーニングとレンダリングを可能にするために,高速な複合光線サンプリング・レンダリング手法を開発した。
都市の運転シナリオにおける我々のアプローチをテストするために,新しいビュー合成ベンチマークを導入する。
我々の手法は、トレーニングやレンダリングを高速化しながら、確立されたベンチマークと提案したベンチマークの両方において、先行技術よりも優れたパフォーマンスを示します。
関連論文リスト
- DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。
入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
論文 参考訳(メタデータ) (2024-03-15T08:48:37Z) - ProSGNeRF: Progressive Dynamic Neural Scene Graph with Frequency
Modulated Auto-Encoder in Urban Scenes [16.037300340326368]
暗黙の神経表現は、大規模で複雑なシーンのビュー合成において有望な結果を示している。
既存のアプローチでは、素早く動くオブジェクトをキャプチャできないか、カメラのエゴモーションなしでシーングラフを構築する必要がある。
本研究では,大規模都市景観と高速移動車両の視点合成問題を共同で解決することを目的とする。
論文 参考訳(メタデータ) (2023-12-14T16:11:42Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured
using sparse monocular data [16.7345472998388]
本稿では,動的非構造シーンの新規視点合成のために,自己教師付きで学習可能な新しいニューラルラジアンスモデルを提案する。
我々のエンドツーエンドのトレーニング可能なアルゴリズムは、数秒で非常に複雑で現実世界の静的なシーンを学習し、数分で剛性と非剛性の両方のダイナミックなシーンを学習する。
論文 参考訳(メタデータ) (2022-09-20T14:37:56Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳(メタデータ) (2022-05-30T17:47:31Z) - Neural 3D Video Synthesis [18.116032726623608]
本研究では,動的実世界のシーンのマルチビュー映像記録を表現可能な3次元映像合成手法を提案する。
私たちのアプローチは、モデルフリーでダイナミックな設定に、新しい方向の静的神経放射体の高品質とコンパクトさを取ります。
本手法は,高度に複雑でダイナミックなシーンでも1k以上の解像度で高精細な広角ノベルビューをレンダリングできることを実証する。
論文 参考訳(メタデータ) (2021-03-03T18:47:40Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳(メタデータ) (2020-11-26T01:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。