論文の概要: Crowd-Sourced NeRF: Collecting Data from Production Vehicles for 3D Street View Reconstruction
- arxiv url: http://arxiv.org/abs/2406.16289v1
- Date: Mon, 24 Jun 2024 03:30:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 16:13:09.876444
- Title: Crowd-Sourced NeRF: Collecting Data from Production Vehicles for 3D Street View Reconstruction
- Title（参考訳）: クラウドソース型NeRF:3次元ストリートビュー再構築のための生産車からのデータ収集
- Authors: Tong Qin, Changze Li, Haoyang Ye, Shaowei Wan, Minzhen Li, Hongwei Liu, Ming Yang,
- Abstract要約: 実車から取得した大量のデータを利用して,NeRFモデルを用いてシーンを再構築するクラウドソースフレームワークを提案する。
我々は,データ選択,スパース3次元再構成,シーケンス外観の埋め込み,地表面深度監視,閉塞完了を統合した包括的フレームワークを提案する。
我々は、NeRFモデルを利用して3Dストリートビューを生成し、合成ビデオでドライバーを誘導する、ファーストビューナビゲーションというアプリケーションを提案する。
- 参考スコア（独自算出の注目度）: 11.257007940120582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Neural Radiance Fields (NeRF) achieved impressive results in novel view synthesis. Block-NeRF showed the capability of leveraging NeRF to build large city-scale models. For large-scale modeling, a mass of image data is necessary. Collecting images from specially designed data-collection vehicles can not support large-scale applications. How to acquire massive high-quality data remains an opening problem. Noting that the automotive industry has a huge amount of image data, crowd-sourcing is a convenient way for large-scale data collection. In this paper, we present a crowd-sourced framework, which utilizes substantial data captured by production vehicles to reconstruct the scene with the NeRF model. This approach solves the key problem of large-scale reconstruction, that is where the data comes from and how to use them. Firstly, the crowd-sourced massive data is filtered to remove redundancy and keep a balanced distribution in terms of time and space. Then a structure-from-motion module is performed to refine camera poses. Finally, images, as well as poses, are used to train the NeRF model in a certain block. We highlight that we present a comprehensive framework that integrates multiple modules, including data selection, sparse 3D reconstruction, sequence appearance embedding, depth supervision of ground surface, and occlusion completion. The complete system is capable of effectively processing and reconstructing high-quality 3D scenes from crowd-sourced data. Extensive quantitative and qualitative experiments were conducted to validate the performance of our system. Moreover, we proposed an application, named first-view navigation, which leveraged the NeRF model to generate 3D street view and guide the driver with a synthesized video.
- Abstract（参考訳）: 近年,ニューラル・レージアンス・フィールド (NeRF) は新規なビュー合成において顕著な成果を上げている。
Block-NeRFは、NeRFを利用して大規模な都市モデルを構築する能力を示した。
大規模モデリングには大量の画像データが必要である。
特別に設計されたデータ収集車から画像を集めることは、大規模アプリケーションをサポートしない。
大量の高品質なデータを取得する方法は、まだ未解決の問題だ。
自動車業界には大量の画像データがあるので、クラウドソーシングは大規模なデータ収集に便利な方法だ。
本稿では,実車から取得した大量のデータを利用して,NeRFモデルを用いてシーンを再構築するクラウドソースフレームワークを提案する。
このアプローチは、データがどこから来るのか、どのように使うのかという、大規模な再構築の鍵となる問題を解決する。
まず、クラウドソースされた大量のデータをフィルタリングして冗長性を取り除き、時間と空間のバランスの取れた分布を維持する。
そして、カメラポーズを洗練させるために、移動モジュールの構造を実行する。
最後に、画像とポーズは、特定のブロックでNeRFモデルをトレーニングするために使用される。
我々は,データ選択,スパース3D再構成,シーケンス表示の埋め込み,地上深度監視,閉塞完了など,複数のモジュールを統合した総合的なフレームワークを提案する。
クラウドソースデータから高品質な3Dシーンを効果的に処理および再構成することができる。
本システムの性能評価のために, 大規模定量的および定性的実験を行った。
さらに、NeRFモデルを利用して3Dストリートビューを生成し、合成ビデオでドライバーを誘導する、ファーストビューナビゲーションというアプリケーションを提案した。
関連論文リスト
- Towards Degradation-Robust Reconstruction in Generalizable NeRF [58.33351079982745]
GNeRF(Generalizable Radiance Field)は,シーンごとの最適化を回避する手段として有効であることが証明されている。
GNeRFの強靭性は, ソース画像に現れる様々な種類の劣化に対して限定的に研究されている。
論文 参考訳（メタデータ） (2024-11-18T16:13:47Z) - Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。
1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。
これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
論文 参考訳（メタデータ） (2024-06-25T10:20:44Z) - MegaScenes: Scene-Level View Synthesis at Scale [69.21293001231993]
NVS (Scene-level novel view synthesis) は多くの視覚やグラフィックスの応用に基礎を置いている。
MegaScenesと呼ばれるインターネット写真コレクションから大規模なシーンレベルのデータセットを作成し、世界中の動き(SfM)から100K以上の構造を復元する。
我々は、最先端NVS手法の故障事例を分析し、生成一貫性を大幅に改善する。
論文 参考訳（メタデータ） (2024-06-17T17:55:55Z) - LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives [44.06145846507639]
LetsGoは、大規模ガレージモデリングとレンダリングのためのLiDAR支援のガウススプレイティングフレームワークである。
多様な幾何学構造を持つ8つのガレージシーンからなるGarageWorldデータセットを提示する。
レンダリング画像中の浮動小片を効果的に除去する新しい深度正規化器を提案する。
論文 参考訳（メタデータ） (2024-04-15T12:50:44Z) - DMV3D: Denoising Multi-View Diffusion using 3D Large Reconstruction
Model [86.37536249046943]
textbfDMV3Dはトランスフォーマーに基づく3次元大規模再構成モデルを用いた新しい3D生成手法である。
再構成モデルでは, 3面のNeRF表現を組み込んで, ノイズの多い多視点画像をNeRF再構成とレンダリングで識別することができる。
論文 参考訳（メタデータ） (2023-11-15T18:58:41Z) - LRM: Large Reconstruction Model for Single Image to 3D [61.47357798633123]
本稿では,1つの入力画像からオブジェクトの3次元モデルを5秒以内で予測する最初のLarge Restruction Model (LRM)を提案する。
LRMは5億の学習可能なパラメータを持つ高度にスケーラブルなトランスフォーマーベースのアーキテクチャを採用し、入力画像からニューラル放射場(NeRF)を直接予測する。
約100万のオブジェクトを含む巨大なマルチビューデータに基づいて、エンド・ツー・エンドでモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-11-08T00:03:52Z) - A Large-Scale Outdoor Multi-modal Dataset and Benchmark for Novel View
Synthesis and Implicit Scene Reconstruction [26.122654478946227]
ニューラル・ラジアンス・フィールズ(NeRF)は、単一物体のシーン再構成と新しいビュー合成において印象的な成果を上げている。
高価なデータ取得と校正コストのため、大規模なNeRF評価のための統一された屋外シーンデータセットは存在しない。
本稿では,大規模な屋外マルチモーダルデータセットであるOMMOデータセットを提案する。
論文 参考訳（メタデータ） (2023-01-17T10:15:32Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳（メタデータ） (2022-09-02T17:44:50Z) - Ground material classification and for UAV-based photogrammetric 3D data
A 2D-3D Hybrid Approach [1.3359609092684614]
近年,物理環境を表す3次元仮想データを作成するために,多くの領域でフォトグラム法が広く用いられている。
これらの最先端技術は、迅速な3D戦場再建、仮想訓練、シミュレーションを目的として、アメリカ陸軍と海軍の注意を引き付けている。
論文 参考訳（メタデータ） (2021-09-24T22:29:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。