論文の概要: DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning
- arxiv url: http://arxiv.org/abs/2404.06352v1
- Date: Tue, 9 Apr 2024 14:43:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 14:21:03.568223
- Title: DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning
- Title(参考訳): DaF-BEVSeg: Occlusion Reasoningを用いた変形型魚眼カメラによる鳥の視線分割
- Authors: Senthil Yogamani, David Unger, Venkatraman Narayanan, Varun Ravi Kumar,
- Abstract要約: 商業車両で一般的に使用されるサラウンドビュー魚眼カメラのBEVセグメンテーションに関する作業は限られている。
我々は,様々な道路タイプ,天気,照明条件からなるコニャータシミュレータを用いて,合成データセットを作成する。
我々は,BEVセグメンテーションを任意のカメラモデルで動作するように一般化し,多様なカメラを混合するのに有用である。
- 参考スコア(独自算出の注目度): 7.012508171229966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic segmentation is an effective way to perform scene understanding. Recently, segmentation in 3D Bird's Eye View (BEV) space has become popular as its directly used by drive policy. However, there is limited work on BEV segmentation for surround-view fisheye cameras, commonly used in commercial vehicles. As this task has no real-world public dataset and existing synthetic datasets do not handle amodal regions due to occlusion, we create a synthetic dataset using the Cognata simulator comprising diverse road types, weather, and lighting conditions. We generalize the BEV segmentation to work with any camera model; this is useful for mixing diverse cameras. We implement a baseline by applying cylindrical rectification on the fisheye images and using a standard LSS-based BEV segmentation model. We demonstrate that we can achieve better performance without undistortion, which has the adverse effects of increased runtime due to pre-processing, reduced field-of-view, and resampling artifacts. Further, we introduce a distortion-aware learnable BEV pooling strategy that is more effective for the fisheye cameras. We extend the model with an occlusion reasoning module, which is critical for estimating in BEV space. Qualitative performance of DaF-BEVSeg is showcased in the video at https://streamable.com/ge4v51.
- Abstract(参考訳): セマンティックセグメンテーションはシーン理解に有効な方法である。
近年,3D Bird's Eye View (BEV)空間におけるセグメンテーションが,ドライブポリシーの直接利用として人気を集めている。
しかし、商業車両で一般的に使用されるサラウンドビュー魚眼カメラのBEVセグメンテーションについては限定的な研究がなされている。
このタスクには実世界のパブリックデータセットがなく、既存の合成データセットは閉塞によるアモーダル領域を扱わないため、様々な道路タイプ、天気、照明条件からなるコニャータシミュレーターを用いて合成データセットを作成する。
我々は,BEVセグメンテーションを任意のカメラモデルで動作するように一般化し,多様なカメラを混合するのに有用である。
魚眼画像に筒状整形を施し,標準的なLSSベースのBEVセグメンテーションモデルを用いてベースラインを実装した。
我々は、前処理や視野の縮小、アーティファクトの再サンプリングによる実行時間の増加による悪影響がある、歪曲を伴わずにより良いパフォーマンスを実現することができることを示した。
さらに,魚眼カメラに有効である歪み認識型学習可能なBEVプーリング戦略を導入する。
BEV空間における推定に欠かせないオクルージョン推論モジュールを用いてモデルを拡張する。
DaF-BEVSegの質的なパフォーマンスは、https://streamable.com/ge4v51.comで紹介されている。
関連論文リスト
- Dual-Camera Smooth Zoom on Mobile Phones [55.4114152554769]
我々は、スムーズなズームプレビューを実現するために、新しいタスク、すなわちデュアルカメラスムーズズーム(DCSZ)を導入する。
フレームモデル (FI) 技術は潜在的な解決法であるが、地軸収集に苦慮している。
連続型仮想カメラを組み込んだデータファクトリソリューションを提案し,シーンの再構成された3DモデルをレンダリングしてDCSZデータを生成する。
論文 参考訳(メタデータ) (2024-04-07T10:28:01Z) - Towards Viewpoint Robustness in Bird's Eye View Segmentation [85.99907496019972]
AV知覚モデルがカメラ視点の変化にどのように影響するかを考察する。
投機時のピッチ、ヨー、深さ、高さへの小さな変化は、大きな性能低下につながる。
本稿では,新しいビュー合成技術を導入し,収集したデータをターゲットリグの視点に変換する手法を提案する。
論文 参考訳(メタデータ) (2023-09-11T02:10:07Z) - Semi-Supervised Learning for Visual Bird's Eye View Semantic
Segmentation [16.3996408206659]
トレーニング中にラベルのない画像を活用することで性能を向上させるために,視覚的BEVセマンティックセマンティックセマンティックセマンティクスのための新しい半教師付きフレームワークを提案する。
次に、ラベルのないデータを完全に利用する一貫性損失を提案し、セマンティックな予測だけでなく、BEV機能にもモデルを制約する。
nuScenesとArgoverseデータセットの実験により、我々のフレームワークは予測精度を効果的に向上できることが示された。
論文 参考訳(メタデータ) (2023-08-28T12:23:36Z) - BEV-IO: Enhancing Bird's-Eye-View 3D Detection with Instance Occupancy [58.92659367605442]
我々は,BEV表現をインスタンス占有情報で拡張する新しい3次元検出パラダイムであるBEV-IOを提案する。
BEV-IOは、パラメータや計算オーバーヘッドの無視できる増加しか加えず、最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-26T11:16:12Z) - F2BEV: Bird's Eye View Generation from Surround-View Fisheye Camera
Images for Automated Driving [3.286961611175469]
魚眼画像からBEVの高さマップとBEVセマンティックセグメンテーションマップを生成するためのベースラインF2BEVを導入する。
F2BEVは、空間情報のクエリと統合のための歪み対応空間横断モジュールで構成される。
合成FB-SSEMデータセットを用いて,F2BEVの単一タスクおよびマルチタスク変異を評価した。
論文 参考訳(メタデータ) (2023-03-07T04:58:57Z) - Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。
我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
論文 参考訳(メタデータ) (2022-11-15T13:52:41Z) - M^2BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified
Birds-Eye View Representation [145.6041893646006]
M$2$BEVは3Dオブジェクトの検出とマップのセグメンテーションを共同で行う統合フレームワークである。
M$2$BEVは、両方のタスクを統一モデルで推論し、効率を向上する。
論文 参考訳(メタデータ) (2022-04-11T13:43:25Z) - BEVSegFormer: Bird's Eye View Semantic Segmentation From Arbitrary
Camera Rigs [3.5728676902207988]
任意のカメラリグからのBEVセマンティックセマンティックセグメンテーションのための効果的なトランスフォーマーベース手法を提案する。
具体的には、まず任意のカメラから画像の特徴を共有バックボーンで符号化する。
BEV-to-imageビュー変換を行うために、効率的なマルチカメラ変形型アテンションユニットを設計する。
論文 参考訳(メタデータ) (2022-03-08T12:39:51Z) - BEV-MODNet: Monocular Camera based Bird's Eye View Moving Object
Detection for Autonomous Driving [2.9769485817170387]
CNNは、現場のグローバルコンテキストを活用して、より良いプロジェクトを作成することができる。
我々は、BEV空間内で5つのクラスを移動するオブジェクトマスクのアノテーションを備えた12.9k画像からなる拡張KITTI-rawデータセットを作成する。
簡単なベースライン実装を用いてmIoUの13%の大幅な改善を観測した。
論文 参考訳(メタデータ) (2021-07-11T01:11:58Z) - Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by
Implicitly Unprojecting to 3D [100.93808824091258]
本稿では,任意の数のカメラから映像データを与えられたシーンの鳥眼ビュー表現を直接抽出するエンド・ツー・エンドアーキテクチャを提案する。
我々のアプローチは、それぞれの画像をそれぞれのカメラのフラストラムに個別に“リフト”し、すべてのフラストラムを鳥の目視格子に“プレート”することです。
提案モデルにより推定される表現は,テンプレートトラジェクトリを鳥眼ビューのコストマップに"撮影"することで,終末動作計画の解釈を可能にすることを示す。
論文 参考訳(メタデータ) (2020-08-13T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。