論文の概要: CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion

• arxiv url: http://arxiv.org/abs/2310.06008v1
• Date: Mon, 9 Oct 2023 17:52:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 04:20:46.901974
• Title: CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion
• Title（参考訳）: CoBEVFusion:LiDAR-Camera Bird's-Eye View Fusionとの共同認識
• Authors: Donghao Qiao and Farhana Zulkernine
• Abstract要約: 協調認識における最近のアプローチは、カメラやLiDARのような単一のセンサー情報しか共有していない。 我々は,LiDARとカメラデータを融合してBird's-Eye View(BEV)表現を生成する,CoBEVFusionというフレームワークを提案する。 BEVセマンティックセグメンテーションと3Dオブジェクト検出という2つの認識課題に対して,協調認識データセットOPV2Vを用いて評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous Vehicles (AVs) use multiple sensors to gather information about their surroundings. By sharing sensor data between Connected Autonomous Vehicles (CAVs), the safety and reliability of these vehicles can be improved through a concept known as cooperative perception. However, recent approaches in cooperative perception only share single sensor information such as cameras or LiDAR. In this research, we explore the fusion of multiple sensor data sources and present a framework, called CoBEVFusion, that fuses LiDAR and camera data to create a Bird's-Eye View (BEV) representation. The CAVs process the multi-modal data locally and utilize a Dual Window-based Cross-Attention (DWCA) module to fuse the LiDAR and camera features into a unified BEV representation. The fused BEV feature maps are shared among the CAVs, and a 3D Convolutional Neural Network is applied to aggregate the features from the CAVs. Our CoBEVFusion framework was evaluated on the cooperative perception dataset OPV2V for two perception tasks: BEV semantic segmentation and 3D object detection. The results show that our DWCA LiDAR-camera fusion model outperforms perception models with single-modal data and state-of-the-art BEV fusion models. Our overall cooperative perception architecture, CoBEVFusion, also achieves comparable performance with other cooperative perception models.
• Abstract（参考訳）: 自動運転車(avs)は複数のセンサーを使って周囲に関する情報を収集する。 センサーデータをコネクテッド・オートモービルズ(CAV)間で共有することにより、これらの車両の安全性と信頼性は協調認識と呼ばれる概念によって向上することができる。 しかし、近年の協調認識におけるアプローチは、カメラやLiDARのような単一のセンサー情報しか共有していない。 本研究では,複数のセンサデータソースの融合を探索し,lidarとカメラデータを融合してbird's-eye view (bev)表現を生成するフレームワークcobevfusionを提案する。 CAVはマルチモーダルデータをローカルに処理し、デュアルウィンドウベースのクロスアテンション(DWCA)モジュールを使用してLiDARとカメラ機能を統合されたBEV表現に融合する。 融合したBEV特徴マップはCAV間で共有され、CAVから特徴を集約するために3D畳み込みニューラルネットワークが適用される。 我々のCoBEVFusionフレームワークは,BEVセマンティックセグメンテーションと3Dオブジェクト検出という2つの知覚課題に対して,協調認識データセットOPV2Vを用いて評価した。 その結果、我々のDWCA LiDAR-camera融合モデルは、単一モーダルデータと最先端のBEV融合モデルで知覚モデルより優れていた。 我々の総合的な協調認識アーキテクチャであるCoBEVFusionは、他の協調認識モデルと同等の性能を達成する。

関連論文リスト

• SiCP: Simultaneous Individual and Cooperative Perception for 3D Object Detection in Connected and Automated Vehicles [15.636723407479444]
  連結車両と自動車両の協調認識は、伝統的に2台以上の車両の特徴マップの融合によって達成される。 この欠点は、車両資源が2つの知覚モデルを同時に使用するには不十分なため、協調的な知覚の採用を妨げる。 我々は、最先端のスタンドアロン認識バックボーンを幅広くサポートする汎用フレームワークである、同時個人協調知覚(SiCP)を提示する。
  論文  参考訳（メタデータ） (2023-12-08T04:12:26Z)
• Towards Viewpoint Robustness in Bird's Eye View Segmentation [85.99907496019972]
  AV知覚モデルがカメラ視点の変化にどのように影響するかを考察する。 投機時のピッチ、ヨー、深さ、高さへの小さな変化は、大きな性能低下につながる。 本稿では,新しいビュー合成技術を導入し,収集したデータをターゲットリグの視点に変換する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-11T02:10:07Z)
• HM-ViT: Hetero-modal Vehicle-to-Vehicle Cooperative perception with vision transformer [4.957079586254435]
  HM-ViTは、最初の統合マルチエージェントヘテロモーダル協調認識フレームワークである。 3Dオブジェクトを協調的に予測し、様々な数と種類のエージェントと高ダイナミックな車車間コラボレーション(V2V)を行う。
  論文  参考訳（メタデータ） (2023-04-20T20:09:59Z)
• V2V4Real: A Real-world Large-scale Dataset for Vehicle-to-Vehicle Cooperative Perception [49.7212681947463]
  車両から車両への協調認識システム(V2V)は、自動運転産業に革命をもたらす大きな可能性を秘めている。 V2V4Realは、V2V知覚のための世界初の大規模実世界のマルチモーダルデータセットである。 我々のデータセットは、20KのLiDARフレーム、40KのRGBフレーム、240Kの注釈付き5クラスの3Dバウンディングボックス、HDMapからなる410kmの走行領域をカバーしている。
  論文  参考訳（メタデータ） (2023-03-14T02:49:20Z)
• Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds [0.0]
  協調認識により、コネクテッド・オートモービルは近隣の他のCAVと対話することができる。 盲点、低解像度、気象効果などの従来の車体知覚の限界を補うことができる。 CODDデータセットを用いた車両と歩行者の両方の協調認識性能の評価を行った。
  論文  参考訳（メタデータ） (2022-07-30T01:53:05Z)
• CoBEVT: Cooperative Bird's Eye View Semantic Segmentation with Sparse Transformers [36.838065731893735]
  CoBEVTは、BEVマップ予測を協調的に生成できる最初の汎用マルチエージェント認識フレームワークである。 CoBEVTは協調的BEVセマンティックセグメンテーションのための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:28Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
  FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。 標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-05-27T05:42:16Z)
• V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer [58.71845618090022]
  我々は、道路上のエージェント間で情報を融合するために、V2X-ViTという全体論的アテンションモデルを構築した。 V2X-ViTは異質なマルチエージェント自己アテンションとマルチスケールウィンドウ自己アテンションの交互層から構成される。 我々のアプローチを検証するために、我々は大規模なV2X知覚データセットを作成します。
  論文  参考訳（メタデータ） (2022-03-20T20:18:25Z)
• Keypoints-Based Deep Feature Fusion for Cooperative Vehicle Detection of Autonomous Driving [2.6543018470131283]
  本稿では,FPV-RCNNと呼ばれる,効率的なキーポイントに基づく深い特徴融合フレームワークを提案する。 鳥眼視(BEV)キーポイントの核融合と比較すると、FPV-RCNNは検出精度を約14%向上させる。 また,提案手法はCPMのサイズを0.3KB以下に削減し,従来のBEV機能マップの約50倍の小型化を実現した。
  論文  参考訳（メタデータ） (2021-09-23T19:41:02Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。