論文の概要: An Evaluation of RGB and LiDAR Fusion for Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2108.07661v1
- Date: Tue, 17 Aug 2021 14:46:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 13:16:58.637236
- Title: An Evaluation of RGB and LiDAR Fusion for Semantic Segmentation
- Title（参考訳）: セマンティックセグメンテーションにおけるRGBとLiDAR融合の評価
- Authors: Amr S. Mohamed, Ali Abdelkader, Mohamed Anany, Omar El-Behady,
Muhammad Faisal, Asser Hangal, Hesham M. Eraqi, Mohamed N. Moustafa
- Abstract要約: LiDARとカメラは、多くの発表された自動運転車のプロトタイプに搭載される予定の2つの主要センサーである。
本稿では,これらの2種類のデータを意味的セグメンテーションのために融合することで,さらなるメリットがあるのか,という問いに答えようと試みる。
また、どのレベルが核融合が最も有用かを示す。
全ての核融合モデルはベースモデルよりも改善され、中間核融合は平均核融合(mIoU)メートル法において2.7%の最高の改善を示す。
- 参考スコア（独自算出の注目度）: 0.293168019422713
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: LiDARs and cameras are the two main sensors that are planned to be included
in many announced autonomous vehicles prototypes. Each of the two provides a
unique form of data from a different perspective to the surrounding
environment. In this paper, we explore and attempt to answer the question: is
there an added benefit by fusing those two forms of data for the purpose of
semantic segmentation within the context of autonomous driving? We also attempt
to show at which level does said fusion prove to be the most useful. We
evaluated our algorithms on the publicly available SemanticKITTI dataset. All
fusion models show improvements over the base model, with the mid-level fusion
showing the highest improvement of 2.7% in terms of mean Intersection over
Union (mIoU) metric.
- Abstract（参考訳）: LiDARとカメラは、多くの発表された自動運転車のプロトタイプに搭載される予定の2つの主要センサーである。
この2つはそれぞれ、異なる視点から周囲の環境まで、ユニークな形式のデータを提供する。
本稿では,この2つの形態のデータを,自律運転の文脈における意味セグメンテーションの目的に活用することで,さらなるメリットがあるか,という問いへの答えを探究する。
また、どのレベルが核融合が最も有用かを示そうと試みている。
我々はsemantickittiデータセット上でアルゴリズムを評価した。
全ての核融合モデルはベースモデルよりも改善され、中間核融合は平均核融合(mIoU)距離において2.7%の最高の改善を示す。
関連論文リスト
- E2E-MFD: Towards End-to-End Synchronous Multimodal Fusion Detection [21.185032466325737]
マルチモーダル核融合検出のための新しいエンドツーエンドアルゴリズムであるE2E-MFDを紹介する。
E2E-MFDはプロセスの合理化を図り、単一のトレーニングフェーズで高いパフォーマンスを達成する。
複数の公開データセットに対する広範なテストは、E2E-MFDの優れた機能を明らかにします。
論文 参考訳（メタデータ） (2024-03-14T12:12:17Z) - G-MEMP: Gaze-Enhanced Multimodal Ego-Motion Prediction in Driving [71.9040410238973]
我々は、視線データを用いて、運転者の車両のエゴ軌道を推定することに集中する。
次に、GPSとビデオ入力と視線データを組み合わせた新しいマルチモーダルエゴ軌道予測ネットワークであるG-MEMPを開発する。
その結果,G-MEMPは両ベンチマークにおいて最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-12-13T23:06:30Z) - Explicit Attention-Enhanced Fusion for RGB-Thermal Perception Tasks [13.742299383836256]
本稿では,各種類のデータを完全に活用する,EAEF (Explicit Attention-Enhanced Fusion) という新しい融合法を提案する。
提案手法は,セマンティックセグメンテーションにおけるmIoUが1.6%,サリアントオブジェクト検出におけるMAEが3.1%,オブジェクト検出におけるmAPが2.3%,クラウドカウントにおけるMAEが8.1%,最先端技術よりも優れている。
論文 参考訳（メタデータ） (2023-03-28T03:37:27Z) - 2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds [18.321397768570154]
本稿では, 2DPASS (2D Priors Assisted Semantic) を提案する。
2DPASSは、マルチモーダルデータからよりリッチなセマンティクスと構造情報を取得し、それをオンラインで3Dネットワークに蒸留する。
2つの大規模ベンチマークで最先端を達成している。
論文 参考訳（メタデータ） (2022-07-10T06:52:09Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。
我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文 参考訳（メタデータ） (2022-03-15T18:46:06Z) - Similarity-Aware Fusion Network for 3D Semantic Segmentation [87.51314162700315]
本研究では,3次元セマンティックセグメンテーションのための2次元画像と3次元点雲を適応的に融合する類似性認識融合ネットワーク(SAFNet)を提案する。
我々は、入力とバックプロジェクションされた(2Dピクセルから)点雲の間の幾何学的および文脈的類似性を初めて学習する、後期融合戦略を採用している。
SAFNetは、様々なデータ完全性にまたがって、既存の最先端の核融合ベースのアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2021-07-04T09:28:18Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-21T10:47:26Z) - LiDAR-based Panoptic Segmentation via Dynamic Shifting Network [56.71765153629892]
LiDARベースのパノプティカルセグメンテーションは、オブジェクトとシーンを統一的に解析することを目的としている。
本稿では,ポイントクラウド領域における効果的な単視分割フレームワークとして機能する動的シフトネットワーク(DS-Net)を提案する。
提案するDS-Netは,現在の最先端手法よりも優れた精度を実現する。
論文 参考訳（メタデータ） (2020-11-24T08:44:46Z) - Multi-View Adaptive Fusion Network for 3D Object Detection [14.506796247331584]
LiDAR-カメラ融合に基づく3Dオブジェクト検出は、自動運転の新たな研究テーマになりつつある。
本稿では,LiDARの鳥眼ビュー,LiDARレンジビュー,カメラビューイメージを3Dオブジェクト検出の入力として利用する,単一ステージ多視点融合フレームワークを提案する。
これら2つのコンポーネントを統合するために,MVAF-Netというエンドツーエンドの学習ネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-02T00:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。