Fugu-MT 論文翻訳(概要): Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic Segmentation

論文の概要: Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic Segmentation

arxiv url: http://arxiv.org/abs/2205.13629v1
Date: Thu, 26 May 2022 20:57:19 GMT
ステータス: 処理完了
システム内更新日: 2022-05-30 13:30:15.537153
Title: Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic Segmentation
Title（参考訳）: 3次元セマンティクスセグメンテーションのためのピラミッド融合ネットワークを用いた深部センサ融合
Authors: Hannah Schieber, Fabian Duerr, Torsten Schoen and J\"urgen Beyerer
Abstract要約: 本研究は,交通シーンの3次元セマンティックセマンティックセグメンテーションを改善するために,ライダーとカメラのためのピラミッド型ディープフュージョンアーキテクチャを提案する。新しいピラミッドフュージョンバックボーンは、価値あるマルチモーダル・マルチスケールの特徴を計算するために、異なるスケールのフィーチャーマップを融合する。この手法は、2つの挑戦的な屋外データセットに基づいて評価し、異なる融合戦略とセットアップについて検討した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Robust environment perception for autonomous vehicles is a tremendous challenge, which makes a diverse sensor set with e.g. camera, lidar and radar crucial. In the process of understanding the recorded sensor data, 3D semantic segmentation plays an important role. Therefore, this work presents a pyramid-based deep fusion architecture for lidar and camera to improve 3D semantic segmentation of traffic scenes. Individual sensor backbones extract feature maps of camera images and lidar point clouds. A novel Pyramid Fusion Backbone fuses these feature maps at different scales and combines the multimodal features in a feature pyramid to compute valuable multimodal, multi-scale features. The Pyramid Fusion Head aggregates these pyramid features and further refines them in a late fusion step, incorporating the final features of the sensor backbones. The approach is evaluated on two challenging outdoor datasets and different fusion strategies and setups are investigated. It outperforms recent range view based lidar approaches as well as all so far proposed fusion strategies and architectures.
Abstract（参考訳）: 自動運転車のロバストな環境認識は、カメラ、ライダー、レーダーといった多様なセンサーセットを重要視する、非常に難しい課題である。記録されたセンサデータを理解する過程では、3Dセマンティックセグメンテーションが重要な役割を果たす。そこで本研究では,ライダーとカメラのためのピラミッド型深層融合アーキテクチャを提案し,交通シーンの3次元セマンティックセマンティックセグメンテーションを改善する。個々のセンサーバックボーンは、カメライメージとライダーポイント雲の特徴マップを抽出する。新しいピラミッド融合バックボーンは、これらの特徴マップを異なるスケールで融合させ、機能ピラミッドのマルチモーダル特徴を組み合わせて、価値のあるマルチモーダル、マルチスケール特徴を計算する。ピラミッド融合ヘッドはこれらのピラミッドの特徴を集約し、センサーバックボーンの最終特徴を組み込んだ後期融合ステップでさらに洗練する。本手法は,屋外の2つの難解なデータセットと異なる核融合戦略とセットアップについて検討した。これは最近のrange viewベースのlidarアプローチを上回り、これまでに提案された核融合戦略やアーキテクチャをすべて上回っている。

関連論文リスト

Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
論文参考訳（メタデータ） (2024-10-09T22:57:47Z)
Multi-scale Feature Fusion with Point Pyramid for 3D Object Detection [18.41721888099563]
本稿では,POP-RCNN(Point Pyramid RCNN)を提案する。提案手法は, 様々な既存フレームワークに適用して, 特に長距離検出において, 特徴の豊かさを高めることができる。
論文参考訳（メタデータ） (2024-09-06T20:13:14Z)
FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving [63.96049803915402]
多様なセンサーのモダリティからのデータの統合は、自律運転のシナリオにおいて一般的な方法論となっている。効率的な点雲変換器の最近の進歩は、スパースフォーマットにおける情報統合の有効性を裏付けている。本稿では,Transformer を用いた sparse cameraLiDAR 融合における設計選択を包括的に検討する。
論文参考訳（メタデータ） (2024-08-13T11:46:32Z)
PyramidMamba: Rethinking Pyramid Feature Fusion with Selective Space State Model for Semantic Segmentation of Remote Sensing Imagery [30.522327480291295]
本稿では,新しいMambaベースのセグメンテーションネットワークであるPraamidMambaを提案する。具体的には,高密度空間ピラミッドプーリング (DSPP) を設計し,多スケールな意味的特徴を符号化し,多スケールな特徴融合における意味的冗長性を低減するためにピラミッド融合マムバ (PFM) を符号化する。 PyramidMambaは3つの公開データセットで最先端のパフォーマンスを実現しています。
論文参考訳（メタデータ） (2024-06-16T07:43:40Z)
DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars [2.2166853714891057]
本研究では,ライダー,カメラ,レーダーを異なる組み合わせで融合して3次元物体検出を行うモジュール型マルチモーダルアーキテクチャを提案する。特殊特徴抽出器は各モードの利点を生かし、容易に交換でき、アプローチをシンプルかつ柔軟にする。 Lidar-camera, lidar-camera-radar, camera-radar fusion の実験結果から, 融合法の柔軟性と有効性が確認された。
論文参考訳（メタデータ） (2022-09-26T14:33:30Z)
MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection [89.26380781863665]
自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-07T12:29:29Z)
Bridging the View Disparity of Radar and Camera Features for Multi-modal Fusion 3D Object Detection [6.959556180268547]
本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
論文参考訳（メタデータ） (2022-08-25T13:21:37Z)
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文参考訳（メタデータ） (2022-03-15T18:46:06Z)
Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation [81.08111209632501]
長距離深度推定のための幾何認識型ステレオLiDAR融合ネットワークを提案する。ステレオ画像の対応を統一した3Dボリューム空間で導くためのキューとして、スパースで正確な点群を活用します。我々のネットワークは,KITTIおよびVirtual-KITTIデータセット上での最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-03-24T03:24:46Z)
Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
論文参考訳（メタデータ） (2020-12-20T18:43:41Z)
Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。