論文の概要: F2BEV: Bird's Eye View Generation from Surround-View Fisheye Camera
Images for Automated Driving
- arxiv url: http://arxiv.org/abs/2303.03651v2
- Date: Tue, 1 Aug 2023 19:41:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-03 17:54:10.236654
- Title: F2BEV: Bird's Eye View Generation from Surround-View Fisheye Camera
Images for Automated Driving
- Title(参考訳): F2BEV:自動走行のための魚眼カメラ画像からの鳥の視線生成
- Authors: Ekta U. Samani, Feng Tao, Harshavardhan R. Dasari, Sihao Ding, Ashis
G. Banerjee
- Abstract要約: 魚眼画像からBEVの高さマップとBEVセマンティックセグメンテーションマップを生成するためのベースラインF2BEVを導入する。
F2BEVは、空間情報のクエリと統合のための歪み対応空間横断モジュールで構成される。
合成FB-SSEMデータセットを用いて,F2BEVの単一タスクおよびマルチタスク変異を評価した。
- 参考スコア(独自算出の注目度): 3.286961611175469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bird's Eye View (BEV) representations are tremendously useful for
perception-related automated driving tasks. However, generating BEVs from
surround-view fisheye camera images is challenging due to the strong
distortions introduced by such wide-angle lenses. We take the first step in
addressing this challenge and introduce a baseline, F2BEV, to generate
discretized BEV height maps and BEV semantic segmentation maps from fisheye
images. F2BEV consists of a distortion-aware spatial cross attention module for
querying and consolidating spatial information from fisheye image features in a
transformer-style architecture followed by a task-specific head. We evaluate
single-task and multi-task variants of F2BEV on our synthetic FB-SSEM dataset,
all of which generate better BEV height and segmentation maps (in terms of the
IoU) than a state-of-the-art BEV generation method operating on undistorted
fisheye images. We also demonstrate discretized height map generation from
real-world fisheye images using F2BEV. Our dataset is publicly available at
https://github.com/volvo-cars/FB-SSEM-dataset
- Abstract(参考訳): Bird's Eye View (BEV)表現は、認識に関連する自動運転タスクに非常に有用である。
しかし、広角レンズによる強い歪みのため、周囲の魚眼カメラ画像からBEVを生成することは困難である。
この課題に対処する第一歩として,魚眼画像から識別されたBEVの高さマップとBEVセマンティックセグメンテーションマップを生成するためのベースラインF2BEVを導入する。
F2BEVは、トランスフォーマースタイルのアーキテクチャで魚眼画像の特徴から空間情報をクエリし、統合するための歪み対応空間横断監視モジュールと、タスク固有のヘッドから構成される。
合成FB-SSEMデータセット上でF2BEVの単一タスクおよびマルチタスクの変異を評価し,魚眼画像を用いた最新のBEV生成法よりも,BEVの高さとセグメンテーションマップ(IoU)が優れていることを示した。
また,f2bevを用いた実世界の魚眼画像から高度マップを生成する。
私たちのデータセットはhttps://github.com/volvo-cars/FB-SSEM-datasetで公開されています。
関連論文リスト
- DA-BEV: Unsupervised Domain Adaptation for Bird's Eye View Perception [111.13119809216313]
カメラのみのBird's Eye View (BEV)は3次元空間における環境認識に大きな可能性を示した。
非教師なし領域適応型BEVは、様々な未ラベル対象データから効果的に学習するが、まだ未探索である。
DA-BEVは、画像ビュー機能とBEV機能の相補性を利用して、ドメイン適応型BEV課題に対処する、最初のドメイン適応型カメラのみのBEVフレームワークである。
論文 参考訳(メタデータ) (2024-01-13T04:21:24Z) - FB-BEV: BEV Representation from Forward-Backward View Transformations [131.11787050205697]
本稿では,Bird-Eye-View (BEV) 表現のためのビュートランスフォーメーションモジュール (VTM) を提案する。
我々は提案したモジュールをFB-BEVでインスタンス化し、nuScenesテストセット上で62.4%のNDSの最先端結果を達成する。
論文 参考訳(メタデータ) (2023-08-04T10:26:55Z) - SA-BEV: Generating Semantic-Aware Bird's-Eye-View Feature for Multi-view
3D Object Detection [46.92706423094971]
画像特徴のセマンティックセグメンテーションに応じて背景情報をフィルタリングするセマンティック・アウェア・BEVプール(SA-BEVPool)を提案する。
また、セマンティック・アウェアのBEV機能と密接にマッチする効果的なデータ拡張戦略であるBEV-Pasteを提案する。
nuScenesの実験では、SA-BEVが最先端のパフォーマンスを達成することが示されている。
論文 参考訳(メタデータ) (2023-07-21T10:28:19Z) - BEV-SAN: Accurate BEV 3D Object Detection via Slice Attention Networks [28.024042528077125]
Bird's-Eye-View (BEV) 3D Object Detectionは自律運転システムにとって重要なマルチビュー技術である。
本研究では,BEVスライス注意ネットワーク (BEV-SAN) という新しい手法を提案する。
論文 参考訳(メタデータ) (2022-12-02T15:14:48Z) - LaRa: Latents and Rays for Multi-Camera Bird's-Eye-View Semantic
Segmentation [43.12994451281451]
複数のカメラからの車両セマンティックセグメンテーションのための効率的なエンコーダデコーダである'LaRa'を提案する。
我々のアプローチは、複数のセンサーにまたがる情報を、コンパクトでリッチな潜在表現の集合に集約するクロスアテンションシステムを用いています。
論文 参考訳(メタデータ) (2022-06-27T13:37:50Z) - GitNet: Geometric Prior-based Transformation for Birds-Eye-View
Segmentation [105.19949897812494]
Birds-eye-view (BEV) セマンティックセマンティックセグメンテーションは自動運転に不可欠である。
本稿では,GitNetという新しい2段階のGeometry Preside-based Transformationフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-16T06:46:45Z) - M^2BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified
Birds-Eye View Representation [145.6041893646006]
M$2$BEVは3Dオブジェクトの検出とマップのセグメンテーションを共同で行う統合フレームワークである。
M$2$BEVは、両方のタスクを統一モデルで推論し、効率を向上する。
論文 参考訳(メタデータ) (2022-04-11T13:43:25Z) - Structured Bird's-Eye-View Traffic Scene Understanding from Onboard
Images [128.881857704338]
本研究では,BEV座標における局所道路網を表す有向グラフを,単眼カメラ画像から抽出する問題について検討する。
提案手法は,BEV平面上の動的物体を検出するために拡張可能であることを示す。
我々は、強力なベースラインに対するアプローチを検証するとともに、ネットワークが優れたパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-10-05T12:40:33Z) - Bird's-Eye-View Panoptic Segmentation Using Monocular Frontal View
Images [4.449481309681663]
本研究では,Bird's-Eye-View (BEV) マップにおいて,高密度パノプティックセグメンテーションマップを直接予測するエンド・ツー・エンドの学習手法を提案する。
私たちのアーキテクチャはトップダウンパラダイムに従っており、新しい高密度トランスモジュールを組み込んでいます。
我々は、FV-BEV変換の感度を数学的に定式化し、BEV空間のピクセルをインテリジェントに重み付けすることができる。
論文 参考訳(メタデータ) (2021-08-06T17:59:11Z) - BEV-Seg: Bird's Eye View Semantic Segmentation Using Geometry and
Semantic Point Cloud [21.29622194272066]
我々は,BEVにおける画素単位のセマンティックセマンティックセマンティックセマンティクスを予測するタスクである,鳥の目の意味セマンティクスセマンティクスに着目した。
このタスクには、サイドビューからバードビューへのビュー変換と、未確認領域への学習の移行という2つの大きな課題がある。
新たな2段階認識パイプラインは,画素深度を明示的に予測し,効率よく画素セマンティクスと組み合わせる。
論文 参考訳(メタデータ) (2020-06-19T23:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。