Fugu-MT 論文翻訳(概要): Camera-Lidar Integration: Probabilistic sensor fusion for semantic mapping

論文の概要: Camera-Lidar Integration: Probabilistic sensor fusion for semantic mapping

arxiv url: http://arxiv.org/abs/2007.05490v1
Date: Thu, 9 Jul 2020 07:59:39 GMT
ステータス: 処理完了
システム内更新日: 2022-11-12 05:08:54.185071
Title: Camera-Lidar Integration: Probabilistic sensor fusion for semantic mapping
Title（参考訳）: カメラ-ライダー統合:意味マッピングのための確率論的センサ融合
Authors: Julie Stephany Berrio, Mao Shan, Stewart Worrall, Eduardo Nebot
Abstract要約: 自動走行車は、常に変化する環境の中を移動しながら、3次元の世界における物体/障害物を知覚し、認識できなければならない。本稿では,センサリーダ(カメラ,ライダー,IMU,ホイールエンコーダ)の不確実性,車両の動作の補償,セマンティックイメージのラベル確率を組み込んだ確率パイプラインを提案する。
参考スコア（独自算出の注目度）: 8.18198392834469
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: An automated vehicle operating in an urban environment must be able to perceive and recognise object/obstacles in a three-dimensional world while navigating in a constantly changing environment. In order to plan and execute accurate sophisticated driving maneuvers, a high-level contextual understanding of the surroundings is essential. Due to the recent progress in image processing, it is now possible to obtain high definition semantic information in 2D from monocular cameras, though cameras cannot reliably provide the highly accurate 3D information provided by lasers. The fusion of these two sensor modalities can overcome the shortcomings of each individual sensor, though there are a number of important challenges that need to be addressed in a probabilistic manner. In this paper, we address the common, yet challenging, lidar/camera/semantic fusion problems which are seldom approached in a wholly probabilistic manner. Our approach is capable of using a multi-sensor platform to build a three-dimensional semantic voxelized map that considers the uncertainty of all of the processes involved. We present a probabilistic pipeline that incorporates uncertainties from the sensor readings (cameras, lidar, IMU and wheel encoders), compensation for the motion of the vehicle, and heuristic label probabilities for the semantic images. We also present a novel and efficient viewpoint validation algorithm to check for occlusions from the camera frames. A probabilistic projection is performed from the camera images to the lidar point cloud. Each labelled lidar scan then feeds into an octree map building algorithm that updates the class probabilities of the map voxels every time a new observation is available. We validate our approach using a set of qualitative and quantitative experimental tests on the USyd Dataset.
Abstract（参考訳）: 都市環境で動作する自動車両は、常に変化する環境の中でナビゲートしながら、3次元の世界における物体/オブスタクルを認識・認識できなければならない。高精度な運転操作を計画し実行するためには、周囲の高レベルの文脈的理解が不可欠である。近年の画像処理の進歩により、単眼カメラから2dで高精細な意味情報を得ることができるようになったが、レーザーによる高精度な3d情報を確実に提供できない。これら2つのセンサーの融合は個々のセンサーの欠点を克服することができるが、確率的な方法で対処する必要がある重要な課題はいくつかある。本稿では,完全に確率論的にアプローチされることがほとんどない,一般的な,しかし難しい,ライダー/カメラ/セマンティック融合問題に対処する。提案手法では,マルチセンサプラットフォームを用いて,関連するすべてのプロセスの不確実性を考慮した3次元セマンティックなボキシ化マップを構築する。本稿では,センサリーダ(カメラ,ライダー,IMU,ホイールエンコーダ)の不確実性,車両の動作に対する補償,セマンティックイメージに対するヒューリスティックラベルの確率を組み込んだ確率パイプラインを提案する。また,カメラフレームからのオクルージョンをチェックするための新しい効率的な視点検証アルゴリズムを提案する。カメラ画像からライダー点雲への確率的投射を行う。ラベル付きlidarスキャンはoctreeマップ構築アルゴリズムにフィードされ、新たな観測が利用可能になる度に、マップボクセルのクラス確率を更新する。我々は,USyd Dataset上で定性的かつ定量的な実験を行い,本手法の有効性を検証した。

関連論文リスト

Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System [0.0]
本稿では,自律走行車認識システムにおける3次元物体検出のためのカメラとレーダーセンサの融合問題に対する新しいアプローチを提案する。我々のアプローチは、ディープラーニングの最近の進歩に基づいており、両方のセンサーの強度を活用して物体検出性能を向上させる。提案手法は単一センサ・ソリューションよりも優れた性能を実現し,他のトップレベルの融合手法と直接競合できることを示す。
論文参考訳（メタデータ） (2024-04-25T12:04:31Z)
Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文参考訳（メタデータ） (2023-08-21T10:38:32Z)
Artifacts Mapping: Multi-Modal Semantic Mapping for Object Detection and 3D Localization [13.473742114288616]
既知の環境下でオブジェクトを自律的に検出・ローカライズするフレームワークを提案する。フレームワークは,RGBデータによる環境理解,マルチモーダルセンサ融合による深度推定,アーティファクト管理という,3つの重要な要素で構成されている。実験の結果,提案フレームワークは実サンプル環境におけるオブジェクトの98%を後処理なしで正確に検出できることがわかった。
論文参考訳（メタデータ） (2023-07-03T15:51:39Z)
Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文参考訳（メタデータ） (2023-05-12T18:08:51Z)
Exploring Contextual Representation and Multi-Modality for End-to-End Autonomous Driving [58.879758550901364]
最近の知覚システムは、センサー融合による空間理解を高めるが、しばしば完全な環境コンテキストを欠いている。我々は,3台のカメラを統合し,人間の視野をエミュレートするフレームワークを導入し,トップダウンのバードアイビューセマンティックデータと組み合わせて文脈表現を強化する。提案手法は, オープンループ設定において0.67mの変位誤差を達成し, nuScenesデータセットでは6.9%の精度で現在の手法を上回っている。
論文参考訳（メタデータ） (2022-10-13T05:56:20Z)
Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。我々は、最先端の核融合法を初めてベンチマークした。
論文参考訳（メタデータ） (2022-05-30T09:35:37Z)
SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-04-07T17:58:47Z)
Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
論文参考訳（メタデータ） (2022-03-30T12:40:30Z)
GenRadar: Self-supervised Probabilistic Camera Synthesis based on Radar Frequencies [12.707035083920227]
この研究は、確率的シーン再構築のための独自の自己学習融合アプローチにおいて、両方のセンサタイプの相補的な強度を組み合わせる。提案アルゴリズムは類似性を生かし、訓練中に異なる特徴レベルで両方のドメイン間の対応を確立する。これらの離散トークンは、最終的にそれぞれの周囲のインストラクティブなビューに変換され、潜在的な危険を視覚的に知覚することができる。
論文参考訳（メタデータ） (2021-07-19T15:00:28Z)
CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object Tracking [9.62721286522053]
本稿では,レーダとカメラセンサの融合に基づく共同物体検出と追跡のためのエンドツーエンドネットワークを提案する。提案手法では,物体検出に中心型レーダカメラ融合アルゴリズムを用い,物体関連にグリーディアルゴリズムを用いる。提案手法は,20.0AMOTAを達成し,ベンチマークにおける視覚ベースの3Dトラッキング手法よりも優れる,挑戦的なnuScenesデータセット上で評価する。
論文参考訳（メタデータ） (2021-07-11T23:56:53Z)
Semantic sensor fusion: from camera to sparse lidar information [7.489722641968593]
本稿では,異なる感覚情報,光検出・ランキング(ライダー)スキャン,カメラ画像の融合手法を提案する。ラベル付き画像とライダー点雲間の意味情報の転送を4ステップで行う。
論文参考訳（メタデータ） (2020-03-04T03:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。