論文の概要: Neural Rendering based Urban Scene Reconstruction for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2402.06826v1
- Date: Fri, 9 Feb 2024 23:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 19:22:30.438375
- Title: Neural Rendering based Urban Scene Reconstruction for Autonomous Driving
- Title(参考訳): 自律運転のためのニューラルレンダリングに基づく都市景観再構成
- Authors: Shihao Shen, Louis Kerofsky, Varun Ravi Kumar and Senthil Yogamani
- Abstract要約: ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。
Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。
我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
- 参考スコア(独自算出の注目度): 8.007494499012624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dense 3D reconstruction has many applications in automated driving including
automated annotation validation, multimodal data augmentation, providing ground
truth annotations for systems lacking LiDAR, as well as enhancing auto-labeling
accuracy. LiDAR provides highly accurate but sparse depth, whereas camera
images enable estimation of dense depth but noisy particularly at long ranges.
In this paper, we harness the strengths of both sensors and propose a
multimodal 3D scene reconstruction using a framework combining neural implicit
surfaces and radiance fields. In particular, our method estimates dense and
accurate 3D structures and creates an implicit map representation based on
signed distance fields, which can be further rendered into RGB images, and
depth maps. A mesh can be extracted from the learned signed distance field and
culled based on occlusion. Dynamic objects are efficiently filtered on the fly
during sampling using 3D object detection models. We demonstrate qualitative
and quantitative results on challenging automotive scenes.
- Abstract(参考訳): Dense 3Dリコンストラクションは、自動アノテーション検証、マルチモーダルデータ拡張、LiDARを欠いたシステムに対する基底真理アノテーションの提供、自動ラベル精度の向上など、自動運転に多くの応用がある。
LiDARは高度に正確だが疎い深度を提供するが、カメラ画像は特に長距離で密度の深い深度を推定できる。
本稿では,両センサの強みを活かし,ニューラルネットワークの暗黙的表面と放射場を組み合わせた枠組みを用いたマルチモーダル3次元シーン再構成を提案する。
特に,本手法は高密度かつ高精度な3次元構造を推定し,符号付き距離場に基づく暗黙マップ表現を生成し,RGB画像や深度マップにさらにレンダリングすることができる。
学習した符号付き距離場からメッシュを抽出し、オクルージョンに基づいて彫り出すことができる。
動的オブジェクトは、3Dオブジェクト検出モデルを使用してサンプリング中に効率よくフィルタされる。
我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
関連論文リスト
- OccNeRF: Self-Supervised Multi-Camera Occupancy Prediction with Neural
Radiance Fields [80.35807140179736]
自己監督型マルチカメラ占有率予測のためのOccNeRF法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成する。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳(メタデータ) (2023-12-14T18:58:52Z) - OCTraN: 3D Occupancy Convolutional Transformer Network in Unstructured
Traffic Scenarios [0.0]
我々は2次元画像特徴を3次元占有特徴に変換するために反復アテンションを用いたトランスフォーマーアーキテクチャOCTraNを提案する。
また、LiDARの地上真実の必要性を排除し、任意のシーンにモデルを一般化するための自己教師型トレーニングパイプラインも開発している。
論文 参考訳(メタデータ) (2023-07-20T15:06:44Z) - 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。
まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。
そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
論文 参考訳(メタデータ) (2023-03-18T05:51:05Z) - SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving [98.74706005223685]
3Dシーン理解は、視覚に基づく自動運転において重要な役割を果たす。
マルチカメラ画像を用いたSurroundOcc法を提案する。
論文 参考訳(メタデータ) (2023-03-16T17:59:08Z) - SUPS: A Simulated Underground Parking Scenario Dataset for Autonomous
Driving [41.221988979184665]
SUPSは地下自動駐車のシミュレーションデータセットである。
複数のセンサーと連続したイメージに合わせた複数のセマンティックラベルを備えた複数のタスクをサポートする。
また、我々のデータセット上で、最先端のSLAMアルゴリズムと知覚モデルを評価する。
論文 参考訳(メタデータ) (2023-02-25T02:59:12Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles
with Adaptive Truncated Signed Distance Function [9.414880946870916]
本稿では,LiDARとカメラセンサを用いた新しい3次元再構成と意味マッピングシステムを提案する。
Adaptive Truncated Functionは表面を暗黙的に記述するために導入され、異なるLiDAR点間隔を扱うことができる。
各三角形メッシュに対して最適なセマンティッククラスを推定するために,最適な画像パッチ選択戦略を提案する。
論文 参考訳(メタデータ) (2022-02-28T15:11:25Z) - Ground-aware Monocular 3D Object Detection for Autonomous Driving [6.5702792909006735]
1台のRGBカメラで環境中の物体の位置と向きを推定することは、低コストの都市自動運転と移動ロボットにとって難しい課題である。
既存のアルゴリズムのほとんどは、2D-3D対応における幾何学的制約に基づいており、これは一般的な6Dオブジェクトのポーズ推定に由来する。
深層学習の枠組みにおいて、そのようなアプリケーション固有の事前知識を完全に活用するための新しいニューラルネットワークモジュールを導入する。
論文 参考訳(メタデータ) (2021-02-01T08:18:24Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-17T05:11:38Z) - PerMO: Perceiving More at Once from a Single Image for Autonomous
Driving [76.35684439949094]
単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。
私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。
我々はこれらのアルゴリズムを自律運転システムに統合した。
論文 参考訳(メタデータ) (2020-07-16T05:02:45Z) - Cityscapes 3D: Dataset and Benchmark for 9 DoF Vehicle Detection [7.531596091318718]
我々はCityscapes 3Dを提案し、Cityscapesのオリジナルのデータセットを拡張し、あらゆる種類の車両に対して3Dバウンディングボックスアノテーションを提供する。
既存のデータセットとは対照的に、3DアノテーションはステレオRGB画像のみを使用してラベル付けされ、9自由度をすべてキャプチャしました。
さらに、我々はCityscapesベンチマークスイートを、新しいアノテーションに基づく3D車両検出と、この研究で提示されたメトリクスで補完する。
論文 参考訳(メタデータ) (2020-06-14T10:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。