Fugu-MT 論文翻訳(概要): BEVCar: Camera-Radar Fusion for BEV Map and Object Segmentation

論文の概要: BEVCar: Camera-Radar Fusion for BEV Map and Object Segmentation

arxiv url: http://arxiv.org/abs/2403.11761v1
Date: Mon, 18 Mar 2024 13:14:46 GMT
ステータス: 処理完了
システム内更新日: 2024-03-20 20:29:45.110182
Title: BEVCar: Camera-Radar Fusion for BEV Map and Object Segmentation
Title（参考訳）: BEVCar:BEVマップとオブジェクトセグメンテーションのためのカメラレーダーフュージョン
Authors: Jonas Schramm, Niclas Vödisch, Kürsat Petek, B Ravi Kiran, Senthil Yogamani, Wolfram Burgard, Abhinav Valada,
Abstract要約: 共同BEVオブジェクトとマップセグメンテーションのための新しいアプローチであるBEVCarを紹介する。我々のアプローチの中核的な特徴は、まず生のレーダーデータのポイントベース符号化を学習することにある。レーダ情報の導入は, 環境問題におけるロバスト性を大幅に向上させることを示す。
参考スコア（独自算出の注目度）: 22.870994478494566
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Semantic scene segmentation from a bird's-eye-view (BEV) perspective plays a crucial role in facilitating planning and decision-making for mobile robots. Although recent vision-only methods have demonstrated notable advancements in performance, they often struggle under adverse illumination conditions such as rain or nighttime. While active sensors offer a solution to this challenge, the prohibitively high cost of LiDARs remains a limiting factor. Fusing camera data with automotive radars poses a more inexpensive alternative but has received less attention in prior research. In this work, we aim to advance this promising avenue by introducing BEVCar, a novel approach for joint BEV object and map segmentation. The core novelty of our approach lies in first learning a point-based encoding of raw radar data, which is then leveraged to efficiently initialize the lifting of image features into the BEV space. We perform extensive experiments on the nuScenes dataset and demonstrate that BEVCar outperforms the current state of the art. Moreover, we show that incorporating radar information significantly enhances robustness in challenging environmental conditions and improves segmentation performance for distant objects. To foster future research, we provide the weather split of the nuScenes dataset used in our experiments, along with our code and trained models at http://bevcar.cs.uni-freiburg.de.
Abstract（参考訳）: 鳥眼ビュー(BEV)の観点からのセマンティックシーンセグメンテーションは,移動ロボットの計画と意思決定を促進する上で重要な役割を担っている。最近の視覚のみの手法は、性能の顕著な進歩を示しているが、雨や夜間などの悪照明条件下では、しばしば苦労する。アクティブセンサーはこの課題に対する解決策を提供するが、LiDARの高コストは制限要因である。カメラデータを自動車レーダーで融合させることは、より安価な代替手段となるが、以前の研究ではあまり注目されなかった。本研究は,BEVCarと地図セグメンテーションを融合した新しいBEVCarを導入することで,この将来性のある道を推し進めることを目的としている。我々のアプローチの中核的な特徴は、まず生のレーダーデータのポイントベース符号化を学習し、BEV空間への画像特徴の持ち上げを効率的に初期化することである。 nuScenesデータセットに関する広範な実験を行い、BEVCarが現在の最先端技術より優れていることを示す。さらに,レーダ情報の導入により,環境条件の難易度が著しく向上し,遠隔物体のセグメンテーション性能が向上することを示す。将来の研究を促進するため、実験で使用したnuScenesデータセットの天気予報と、http://bevcar.cs.uni-freiburg.deでトレーニングされたモデルを提供しています。

関連論文リスト

BEVPose: Unveiling Scene Semantics through Pose-Guided Multi-Modal BEV Alignment [8.098296280937518]
本稿では,カメラとライダーデータからBEV表現を統合するフレームワークであるBEVPoseについて,センサポーズを誘導監視信号として用いた。ポーズ情報を活用することで,環境の幾何学的側面と意味的側面の両方を捉えた潜在的BEV埋め込みの学習を容易にし,マルチモーダルな感覚入力を調整・融合する。
論文参考訳（メタデータ） (2024-10-28T12:40:27Z)
Robust Bird's Eye View Segmentation by Adapting DINOv2 [3.236198583140341]
低ランク適応(LoRA)を用いた視覚基礎モデルDINOv2をBEV推定に適用する。我々の実験は、様々な汚職下でのBEV知覚の堅牢性を高めることを示した。また,適応表現の有効性を,学習可能なパラメータの少ないこと,学習中の収束の高速化の観点から示す。
論文参考訳（メタデータ） (2024-09-16T12:23:35Z)
OE-BevSeg: An Object Informed and Environment Aware Multimodal Framework for Bird's-eye-view Vehicle Semantic Segmentation [57.2213693781672]
Bird's-eye-view (BEV)セマンティックセマンティックセグメンテーションは自律運転システムにおいて重要である。本稿では,BEVセグメンテーション性能を向上させるエンドツーエンドマルチモーダルフレームワークであるOE-BevSegを提案する。提案手法は,車両セグメンテーションのためのnuScenesデータセットにおいて,最先端の成果を大きなマージンで達成する。
論文参考訳（メタデータ） (2024-07-18T03:48:22Z)
RoadBEV: Road Surface Reconstruction in Bird's Eye View [55.0558717607946]
道路表面の状態、特に幾何学的プロファイルは、自動運転車の走行性能に大きな影響を与え、視覚に基づくオンライン道路再建は、事前に道路情報を確実に捉えている。 Bird's-Eye-View (BEV) の認識は、より信頼性が高く正確な再構築の可能性を秘めている。本稿では,BEVにおける道路高架化モデルとして,RoadBEV-monoとRoadBEV-stereoの2つのモデルを提案する。
論文参考訳（メタデータ） (2024-04-09T20:24:29Z)
BEVFormer v2: Adapting Modern Image Backbones to Bird's-Eye-View Recognition via Perspective Supervision [101.36648828734646]
本稿では、視線を監督する新しい鳥眼ビュー(BEV)検出器について述べる。提案手法は,従来および現代の画像バックボーンの幅広いスペクトルを用いて検証し,大規模なnuScenesデータセット上で新たなSoTA結果を得る。
論文参考訳（メタデータ） (2022-11-18T18:59:48Z)
Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe [115.31507979199564]
鳥眼視(BEV)における知覚タスクの強力な表現の学習は、産業と学界の両方から注目されつつある。センサーの構成が複雑化するにつれて、異なるセンサーからの複数のソース情報の統合と、統一されたビューにおける特徴の表現が重要になる。 BEV知覚の中核的な問題は、(a)視点からBEVへの視点変換を通して失われた3D情報を再構成する方法、(b)BEVグリッドにおける基底真理アノテーションの取得方法、(d)センサー構成が異なるシナリオでアルゴリズムを適応・一般化する方法にある。
論文参考訳（メタデータ） (2022-09-12T15:29:13Z)
A Simple Baseline for BEV Perception Without LiDAR [37.00868568802673]
LiDARに依存しない自動運転車のための3D認識システムの構築は、重要な研究課題である。現在の方法では、車両の周囲のカメラから収集された多視点RGBデータを使用する。本稿では,単純なベースラインモデルを提案する。このモデルでは,投影されたすべての画像位置から,単に「リフト」ステップで特徴を推定する。
論文参考訳（メタデータ） (2022-06-16T06:57:32Z)
Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
論文参考訳（メタデータ） (2022-05-27T05:42:16Z)
BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers [39.253627257740085]
マルチカメラ画像に基づく3次元検出やマップセグメンテーションを含む3次元視覚認識タスクは、自律運転システムに不可欠である。本稿では,複数の自律運転認識タスクをサポートするために,変圧器を用いた統合BEV表現を学習するBEVFormerという新しいフレームワークを提案する。 BEVFormerは低視認性条件下での物体の速度推定とリコールの精度を著しく向上することを示す。
論文参考訳（メタデータ） (2022-03-31T17:59:01Z)
Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing Simulation-to-Real Domain Shift in LiDAR Bird's Eye View [110.83289076967895]
ドメイン適応プロセス中に関心のある小さなオブジェクトの情報を保存するために,事前の意味分類を用いたサイクガンに基づくbevドメイン適応法を提案する。生成したBEVの品質は,KITTI 3D Object Detection Benchmarkの最先端3Dオブジェクト検出フレームワークを用いて評価されている。
論文参考訳（メタデータ） (2021-04-22T12:47:37Z)
RV-FuseNet: Range View Based Fusion of Time-Series LiDAR Data for Joint 3D Object Detection and Motion Forecasting [13.544498422625448]
本稿では,共同検出と軌道推定のための新しいエンドツーエンドアプローチであるRV-FuseNetを提案する。広範に使用されている鳥眼ビュー(BEV)表現の代わりに,LiDARデータのネイティブレンジビュー(RV)表現を利用する。提案手法は,既存の最先端技術よりも動作予測性能を著しく向上することを示す。
論文参考訳（メタデータ） (2020-05-21T19:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。