論文の概要: Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic
Segmentation
- arxiv url: http://arxiv.org/abs/2205.13629v1
- Date: Thu, 26 May 2022 20:57:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 13:30:15.537153
- Title: Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic
Segmentation
- Title(参考訳): 3次元セマンティクスセグメンテーションのためのピラミッド融合ネットワークを用いた深部センサ融合
- Authors: Hannah Schieber, Fabian Duerr, Torsten Schoen and J\"urgen Beyerer
- Abstract要約: 本研究は,交通シーンの3次元セマンティックセマンティックセグメンテーションを改善するために,ライダーとカメラのためのピラミッド型ディープフュージョンアーキテクチャを提案する。
新しいピラミッドフュージョンバックボーンは、価値あるマルチモーダル・マルチスケールの特徴を計算するために、異なるスケールのフィーチャーマップを融合する。
この手法は、2つの挑戦的な屋外データセットに基づいて評価し、異なる融合戦略とセットアップについて検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust environment perception for autonomous vehicles is a tremendous
challenge, which makes a diverse sensor set with e.g. camera, lidar and radar
crucial. In the process of understanding the recorded sensor data, 3D semantic
segmentation plays an important role. Therefore, this work presents a
pyramid-based deep fusion architecture for lidar and camera to improve 3D
semantic segmentation of traffic scenes. Individual sensor backbones extract
feature maps of camera images and lidar point clouds. A novel Pyramid Fusion
Backbone fuses these feature maps at different scales and combines the
multimodal features in a feature pyramid to compute valuable multimodal,
multi-scale features. The Pyramid Fusion Head aggregates these pyramid features
and further refines them in a late fusion step, incorporating the final
features of the sensor backbones. The approach is evaluated on two challenging
outdoor datasets and different fusion strategies and setups are investigated.
It outperforms recent range view based lidar approaches as well as all so far
proposed fusion strategies and architectures.
- Abstract(参考訳): 自動運転車のロバストな環境認識は、カメラ、ライダー、レーダーといった多様なセンサーセットを重要視する、非常に難しい課題である。
記録されたセンサデータを理解する過程では、3Dセマンティックセグメンテーションが重要な役割を果たす。
そこで本研究では,ライダーとカメラのためのピラミッド型深層融合アーキテクチャを提案し,交通シーンの3次元セマンティックセマンティックセグメンテーションを改善する。
個々のセンサーバックボーンは、カメライメージとライダーポイント雲の特徴マップを抽出する。
新しいピラミッド融合バックボーンは、これらの特徴マップを異なるスケールで融合させ、機能ピラミッドのマルチモーダル特徴を組み合わせて、価値のあるマルチモーダル、マルチスケール特徴を計算する。
ピラミッド融合ヘッドはこれらのピラミッドの特徴を集約し、センサーバックボーンの最終特徴を組み込んだ後期融合ステップでさらに洗練する。
本手法は,屋外の2つの難解なデータセットと異なる核融合戦略とセットアップについて検討した。
これは最近のrange viewベースのlidarアプローチを上回り、これまでに提案された核融合戦略やアーキテクチャをすべて上回っている。
関連論文リスト
- mmFUSION: Multimodal Fusion for 3D Objects Detection [18.401155770778757]
マルチセンサー融合は、自動運転システムにおける正確な3次元物体検出に不可欠である。
本稿では,これらの課題を克服するために,新たな中間レベルマルチモーダル融合手法を提案する。
mmdetection3Dプロジェクトプラグインのコードは近く公開される予定だ。
論文 参考訳(メタデータ) (2023-11-07T15:11:27Z) - ShaSTA-Fuse: Camera-LiDAR Sensor Fusion to Model Shape and
Spatio-Temporal Affinities for 3D Multi-Object Tracking [26.976216624424385]
3Dマルチオブジェクトトラッキング(MOT)は、自律移動エージェントが安全にシーンをナビゲートするために不可欠である。
我々は,カメラとLiDARセンサ情報を融合した3DMOTフレームワークの開発を目指している。
論文 参考訳(メタデータ) (2023-10-04T02:17:59Z) - DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras
and Radars [2.2166853714891057]
本研究では,ライダー,カメラ,レーダーを異なる組み合わせで融合して3次元物体検出を行うモジュール型マルチモーダルアーキテクチャを提案する。
特殊特徴抽出器は各モードの利点を生かし、容易に交換でき、アプローチをシンプルかつ柔軟にする。
Lidar-camera, lidar-camera-radar, camera-radar fusion の実験結果から, 融合法の柔軟性と有効性が確認された。
論文 参考訳(メタデータ) (2022-09-26T14:33:30Z) - MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth
Seeds for 3D Object Detection [89.26380781863665]
自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。
近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。
マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-07T12:29:29Z) - Bridging the View Disparity of Radar and Camera Features for Multi-modal
Fusion 3D Object Detection [6.959556180268547]
本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。
より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-08-25T13:21:37Z) - DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。
我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文 参考訳(メタデータ) (2022-03-15T18:46:06Z) - Perception-aware Multi-sensor Fusion for 3D LiDAR Semantic Segmentation [59.42262859654698]
3Dセマンティックセグメンテーションは、自動運転やロボット工学など、多くのアプリケーションにおいてシーン理解において重要である。
既存の融合法は、2つのモードの差が大きいため、有望な性能を達成できない。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
論文 参考訳(メタデータ) (2021-06-21T10:47:26Z) - Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth
Estimation [81.08111209632501]
長距離深度推定のための幾何認識型ステレオLiDAR融合ネットワークを提案する。
ステレオ画像の対応を統一した3Dボリューム空間で導くためのキューとして、スパースで正確な点群を活用します。
我々のネットワークは,KITTIおよびVirtual-KITTIデータセット上での最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-03-24T03:24:46Z) - Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。
我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
論文 参考訳(メタデータ) (2020-12-20T18:43:41Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-08-16T11:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。