論文の概要: BEVHeight++: Toward Robust Visual Centric 3D Object Detection
- arxiv url: http://arxiv.org/abs/2309.16179v1
- Date: Thu, 28 Sep 2023 05:38:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 16:02:14.302679
- Title: BEVHeight++: Toward Robust Visual Centric 3D Object Detection
- Title(参考訳): BEVHeight++:ロバストな3Dオブジェクト検出を目指す
- Authors: Lei Yang, Tao Tang, Jun Li, Peng Chen, Kun Yuan, Li Wang, Yi Huang,
Xinyu Zhang, Kaicheng Yu
- Abstract要約: 視覚中心の鳥の視線検出法は、路面カメラでは性能が劣る。
この問題に対処するために,BEVHeight++と呼ばれるシンプルで効果的なアプローチを提案する。
高さと深さの両方の符号化手法を取り入れることで、2次元からBEV空間へのより正確で頑健な投影を実現する。
- 参考スコア(独自算出の注目度): 32.08994153441449
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While most recent autonomous driving system focuses on developing perception
methods on ego-vehicle sensors, people tend to overlook an alternative approach
to leverage intelligent roadside cameras to extend the perception ability
beyond the visual range. We discover that the state-of-the-art vision-centric
bird's eye view detection methods have inferior performances on roadside
cameras. This is because these methods mainly focus on recovering the depth
regarding the camera center, where the depth difference between the car and the
ground quickly shrinks while the distance increases. In this paper, we propose
a simple yet effective approach, dubbed BEVHeight++, to address this issue. In
essence, we regress the height to the ground to achieve a distance-agnostic
formulation to ease the optimization process of camera-only perception methods.
By incorporating both height and depth encoding techniques, we achieve a more
accurate and robust projection from 2D to BEV spaces. On popular 3D detection
benchmarks of roadside cameras, our method surpasses all previous
vision-centric methods by a significant margin. In terms of the ego-vehicle
scenario, our BEVHeight++ possesses superior over depth-only methods.
Specifically, it yields a notable improvement of +1.9% NDS and +1.1% mAP over
BEVDepth when evaluated on the nuScenes validation set. Moreover, on the
nuScenes test set, our method achieves substantial advancements, with an
increase of +2.8% NDS and +1.7% mAP, respectively.
- Abstract(参考訳): 最近の自律走行システムは、自走車センサーの認識方法の開発に重点を置いているが、人々は視覚範囲を超えて知覚能力を拡張するために、インテリジェントな路面カメラを活用する別のアプローチを見過ごす傾向がある。
最先端の視覚中心の鳥の目視検出手法は, 路面カメラの性能に劣ることがわかった。
これは、車と地面の深度差が急速に縮み、距離が大きくなるときにカメラセンターの深度を回復することに主に焦点が当てられているためである。
本稿では,BEVHeight++と呼ばれるシンプルで効果的な手法を提案し,この問題に対処する。
基本的に,距離に依存しない定式化を実現し,カメラのみの知覚手法の最適化プロセスを容易にする。
高さと深さの両方の符号化手法を取り入れることで、2次元からBEV空間へのより正確で堅牢な投影を実現する。
道路カメラの3D検出ベンチマークでは、従来の視覚中心の手法をはるかに上回っている。
ego-vehicleのシナリオでは、BEVHeight++は深さのみのメソッドよりも優れています。
具体的には、 nuScenes 検証セットで評価すると、BEVDepth よりも +1.9% NDS と +1.1% mAP の顕著な改善が得られる。
さらに, nuScenes テストセットでは, NDS が+2.8%, mAP が+1.7%増加した。
関連論文リスト
- SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。
360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。
重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
論文 参考訳(メタデータ) (2024-02-19T02:41:37Z) - SGV3D:Towards Scenario Generalization for Vision-based Roadside 3D Object Detection [27.991404725024953]
現在の視覚に基づく道路側検出法は,ラベル付きシーンでは精度が高いが,新しいシーンでは性能が劣る。
これは、ロードサイドカメラが設置後も静止しているためであり、その結果、これらのロードサイドの背景とカメラのポーズにアルゴリズムが適合しているためである。
我々は,SGV3Dと呼ばれる,視覚に基づく道路側3次元物体検出のための革新的なシナリオ一般化フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T12:31:13Z) - Instance-aware Multi-Camera 3D Object Detection with Structural Priors
Mining and Self-Boosting Learning [93.71280187657831]
カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。
画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
論文 参考訳(メタデータ) (2023-12-13T09:24:42Z) - CoBEV: Elevating Roadside 3D Object Detection with Depth and Height Complementarity [34.025530326420146]
我々は、新しいエンドツーエンドのモノクロ3Dオブジェクト検出フレームワークであるComplementary-BEVを開発した。
道路カメラを用いたDAIR-V2X-IとRope3Dの公開3次元検出ベンチマークについて広範な実験を行った。
カメラモデルのAPスコアが初めてDAIR-V2X-Iで80%に達する。
論文 参考訳(メタデータ) (2023-10-04T13:38:53Z) - MonoGAE: Roadside Monocular 3D Object Detection with Ground-Aware
Embeddings [29.050983641961658]
そこで我々は,モノGAEという,地表面認識による道路面モノクロ3次元物体検出のための新しいフレームワークを提案する。
提案手法は,道路側カメラの広範に認識されている3次元検出ベンチマークにおいて,従来のモノクル3次元物体検出器と比較して,かなりの性能上の優位性を示す。
論文 参考訳(メタデータ) (2023-09-30T14:52:26Z) - Multi-camera Bird's Eye View Perception for Autonomous Driving [17.834495597639805]
他のエージェントや構造の空間的推論を可能にするためには、3Dで知覚出力を生成することが不可欠である。
カメラ画像から所望のBEV表現を達成するための最も基本的なアプローチは、平らな地面を仮定してIPMである。
近年のアプローチでは、ディープニューラルネットワークを使用してBEV空間を直接出力している。
論文 参考訳(メタデータ) (2023-09-16T19:12:05Z) - BEVHeight: A Robust Framework for Vision-based Roadside 3D Object
Detection [27.921256216924384]
視覚中心の鳥の視線検出法は、路面カメラでは性能が劣る。
この問題に対処するために,BEVHeightと呼ばれるシンプルで効果的なアプローチを提案する。
我々の手法は従来の視覚中心の手法をはるかに上回っている。
論文 参考訳(メタデータ) (2023-03-15T10:18:53Z) - BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird's-Eye View Representation [105.96557764248846]
本稿では,汎用マルチタスクマルチセンサ融合フレームワークであるBEVFusionを紹介する。
共有鳥眼ビュー表示空間におけるマルチモーダル特徴を統一する。
3Dオブジェクト検出では1.3%高いmAPとNDS、BEVマップのセグメンテーションでは13.6%高いmIoU、コストは1.9倍である。
論文 参考訳(メタデータ) (2022-05-26T17:59:35Z) - SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-04-07T17:58:47Z) - Rope3D: TheRoadside Perception Dataset for Autonomous Driving and
Monocular 3D Object Detection Task [48.555440807415664]
道路沿いの知覚3Dデータセットに挑戦する最初のハイダイバーシティを提示する。
データセットは50Kイメージと、さまざまなシーンで1.5M以上の3Dオブジェクトで構成されている。
本稿では,様々なセンサや視点によって引き起こされるあいまいさを解決するために,幾何学的制約を活用することを提案する。
論文 参考訳(メタデータ) (2022-03-25T12:13:23Z) - Defocus Blur Detection via Depth Distillation [64.78779830554731]
初めてDBDに深度情報を導入します。
より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。
我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
論文 参考訳(メタデータ) (2020-07-16T04:58:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。