論文の概要: Semantic sensor fusion: from camera to sparse lidar information

• arxiv url: http://arxiv.org/abs/2003.01871v1
• Date: Wed, 4 Mar 2020 03:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 13:36:29.582940
• Title: Semantic sensor fusion: from camera to sparse lidar information
• Title（参考訳）: セマンティクスセンサ融合:カメラから分散lidar情報へ
• Authors: Julie Stephany Berrio, Mao Shan, Stewart Worrall, James Ward, Eduardo Nebot
• Abstract要約: 本稿では,異なる感覚情報,光検出・ランキング(ライダー)スキャン,カメラ画像の融合手法を提案する。 ラベル付き画像とライダー点雲間の意味情報の転送を4ステップで行う。
• 参考スコア（独自算出の注目度）: 7.489722641968593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To navigate through urban roads, an automated vehicle must be able to perceive and recognize objects in a three-dimensional environment. A high-level contextual understanding of the surroundings is necessary to plan and execute accurate driving maneuvers. This paper presents an approach to fuse different sensory information, Light Detection and Ranging (lidar) scans and camera images. The output of a convolutional neural network (CNN) is used as classifier to obtain the labels of the environment. The transference of semantic information between the labelled image and the lidar point cloud is performed in four steps: initially, we use heuristic methods to associate probabilities to all the semantic classes contained in the labelled images. Then, the lidar points are corrected to compensate for the vehicle's motion given the difference between the timestamps of each lidar scan and camera image. In a third step, we calculate the pixel coordinate for the corresponding camera image. In the last step we perform the transfer of semantic information from the heuristic probability images to the lidar frame, while removing the lidar information that is not visible to the camera. We tested our approach in the Usyd Dataset \cite{usyd_dataset}, obtaining qualitative and quantitative results that demonstrate the validity of our probabilistic sensory fusion approach.
• Abstract（参考訳）: 都市部を走行するには、自動運転車は3次元環境で物体を知覚し認識しなければなりません。 正確な運転操作を計画し実行するためには、周囲を高度に理解する必要がある。 本稿では,異なるセンサ情報,光検出,測位(lidar)スキャン,カメライメージを融合する手法を提案する。 畳み込みニューラルネットワーク(cnn)の出力は、環境のラベルを取得するための分類器として使用される。 ラベル付き画像とライダーポイントクラウド間のセマンティック情報の転送は,まず,ラベル付き画像に含まれるすべてのセマンティッククラスに確率を関連付けるためにヒューリスティック手法を用いて行う。 そして、各ライダースキャンのタイムスタンプとカメラ画像との差を考慮し、ライダーポイントを補正して車両の動きを補償する。 3番目のステップでは、対応するカメラ画像の画素座標を計算する。 最後のステップでは、カメラに見えないライダー情報を除去しながら、ヒューリスティックな確率画像からライダーフレームへの意味情報の転送を行う。 我々はUsyd Dataset \cite{usyd_dataset} を用いて,確率的感覚融合法の有効性を示す質的,定量的な結果を得た。

関連論文リスト

• Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System [0.0]
  本稿では,自律走行車認識システムにおける3次元物体検出のためのカメラとレーダーセンサの融合問題に対する新しいアプローチを提案する。 我々のアプローチは、ディープラーニングの最近の進歩に基づいており、両方のセンサーの強度を活用して物体検出性能を向上させる。 提案手法は単一センサ・ソリューションよりも優れた性能を実現し,他のトップレベルの融合手法と直接競合できることを示す。
  論文  参考訳（メタデータ） (2024-04-25T12:04:31Z)
• Unleash the Potential of Image Branch for Cross-modal 3D Object Detection [67.94357336206136]
  画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。 まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。 第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
  論文  参考訳（メタデータ） (2023-01-22T08:26:58Z)
• Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
  本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。 提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
  論文  参考訳（メタデータ） (2022-08-24T14:59:28Z)
• Paint and Distill: Boosting 3D Object Detection with Semantic Passing Network [70.53093934205057]
  ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。 本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T12:35:34Z)
• Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
  本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。 我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。 私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
  論文  参考訳（メタデータ） (2022-03-30T12:40:30Z)
• Drive&Segment: Unsupervised Semantic Segmentation of Urban Scenes via Cross-modal Distillation [32.33170182669095]
  本研究は,自動車が収集した生の非キュレートデータからのみ,手動のアノテーションを使わずに,都市景観における画素単位のセマンティックイメージのセマンティックセマンティックセマンティクスの学習について検討する。 本稿では,同期化LiDARと画像データを利用した意味的イメージセグメンテーションのクロスモーダルな教師なし学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-21T17:35:46Z)
• Content-Based Detection of Temporal Metadata Manipulation [91.34308819261905]
  画像の撮像時間とその内容と地理的位置とが一致しているかどうかを検証するためのエンドツーエンドのアプローチを提案する。 中心となる考え方は、画像の内容、キャプチャ時間、地理的位置が一致する確率を予測するための教師付き一貫性検証の利用である。 我々のアプローチは、大規模なベンチマークデータセットの以前の作業により改善され、分類精度が59.03%から81.07%に向上した。
  論文  参考訳（メタデータ） (2021-03-08T13:16:19Z)
• Data Augmentation for Object Detection via Differentiable Neural Rendering [71.00447761415388]
  注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。 この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。 オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
  論文  参考訳（メタデータ） (2021-03-04T06:31:06Z)
• YOdar: Uncertainty-based Sensor Fusion for Vehicle Detection with Camera and Radar Sensors [4.396860522241306]
  本稿では,カメラとレーダデータとのセンサ融合のための不確実性に基づく手法を提案する。 実験では、YOLOv3オブジェクト検出ネットワークと、カスタマイズされた1D$レーダセグメンテーションネットワークを組み合わせる。 実験の結果,この不確実性認識融合のアプローチは単一センサのベースラインに比べて性能が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-10-07T10:40:02Z)
• Camera-Lidar Integration: Probabilistic sensor fusion for semantic mapping [8.18198392834469]
  自動走行車は、常に変化する環境の中を移動しながら、3次元の世界における物体/障害物を知覚し、認識できなければならない。 本稿では,センサリーダ(カメラ,ライダー,IMU,ホイールエンコーダ)の不確実性,車両の動作の補償,セマンティックイメージのラベル確率を組み込んだ確率パイプラインを提案する。
  論文  参考訳（メタデータ） (2020-07-09T07:59:39Z)
• A Sim2Real Deep Learning Approach for the Transformation of Images from Multiple Vehicle-Mounted Cameras to a Semantically Segmented Image in Bird's Eye View [0.0]
  カメラの視点を鳥の視線(BEV)に変換すると、距離をより容易に推定できる。 本稿では,複数の車載カメラから補正された360度BEV画像を得る方法について述べる。 ニューラルネットワークのアプローチは、手動でラベル付けされたデータに頼るのではなく、実世界のデータに対してうまく一般化するように、合成データセットでトレーニングされる。
  論文  参考訳（メタデータ） (2020-05-08T14:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。