論文の概要: Enhancing 3D Object Detection with 2D Detection-Guided Query Anchors
- arxiv url: http://arxiv.org/abs/2403.06093v1
- Date: Sun, 10 Mar 2024 04:38:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 08:29:07.155783
- Title: Enhancing 3D Object Detection with 2D Detection-Guided Query Anchors
- Title（参考訳）: 2次元検出誘導クエリアンカーによる3次元オブジェクト検出の強化
- Authors: Haoxuanye Ji, Pengpeng Liang, Erkang Cheng
- Abstract要約: 本稿では,2次元検出結果から3次元クエリアンカーを推定するQAF2Dという新しいクエリ生成手法を提案する。
QAF2DがnuScenesの検証サブセットにもたらす最大の改善は、NDSが2.3%、mAPが2.7%である。
- 参考スコア（独自算出の注目度）: 6.3557174349423455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-camera-based 3D object detection has made notable progress in the past
several years. However, we observe that there are cases (e.g. faraway regions)
in which popular 2D object detectors are more reliable than state-of-the-art 3D
detectors. In this paper, to improve the performance of query-based 3D object
detectors, we present a novel query generating approach termed QAF2D, which
infers 3D query anchors from 2D detection results. A 2D bounding box of an
object in an image is lifted to a set of 3D anchors by associating each sampled
point within the box with depth, yaw angle, and size candidates. Then, the
validity of each 3D anchor is verified by comparing its projection in the image
with its corresponding 2D box, and only valid anchors are kept and used to
construct queries. The class information of the 2D bounding box associated with
each query is also utilized to match the predicted boxes with ground truth for
the set-based loss. The image feature extraction backbone is shared between the
3D detector and 2D detector by adding a small number of prompt parameters. We
integrate QAF2D into three popular query-based 3D object detectors and carry
out comprehensive evaluations on the nuScenes dataset. The largest improvement
that QAF2D can bring about on the nuScenes validation subset is $2.3\%$ NDS and
$2.7\%$ mAP. Code is available at https://github.com/nullmax-vision/QAF2D.
- Abstract（参考訳）: マルチカメラによる3次元物体検出はここ数年で顕著な進歩を遂げた。
しかし、一般的な2d物体検出器が最先端の3d検出器よりも信頼性が高いケース(例えば遠方領域)がある。
本稿では,クエリベースの3dオブジェクト検出器の性能を向上させるために,2d検出結果から3dクエリアンカーを推定する,qaf2dと呼ばれる新しいクエリ生成手法を提案する。
画像内の物体の2dバウンディングボックスは、ボックス内の各サンプル点を深さ、ヨー角、サイズ候補で関連付けることで、一連の3dアンカーにリフトされる。
そして、画像中の投影と対応する2dボックスを比較して各3dアンカーの有効性を確認し、有効なアンカーのみを保持してクエリの構築に用いる。
各クエリに関連付けられた2Dバウンディングボックスのクラス情報も、セットベースの損失に対して予測ボックスと基底真理とをマッチングするために利用される。
画像特徴抽出バックボーンは、少数のプロンプトパラメータを付加することにより、3D検出器と2D検出器の間で共有される。
我々は、QAF2Dを3つの一般的なクエリベースの3Dオブジェクト検出器に統合し、nuScenesデータセットの包括的な評価を行う。
QAF2DがnuScenesの検証サブセットにもたらす最大の改善は、NDSが2.3\%、mAPが2.7\%である。
コードはhttps://github.com/nullmax-vision/QAF2Dで入手できる。
関連論文リスト
- General Geometry-aware Weakly Supervised 3D Object Detection [62.26729317523975]
RGB画像と関連する2Dボックスから3Dオブジェクト検出器を学習するための統合フレームワークを開発した。
KITTIとSUN-RGBDデータセットの実験により,本手法は驚くほど高品質な3次元境界ボックスを2次元アノテーションで生成することを示した。
論文 参考訳（メタデータ） (2024-07-18T17:52:08Z) - Roadside Monocular 3D Detection via 2D Detection Prompting [11.511202614683388]
本稿では,2次元検出を用いて3次元検出器を誘導する手法を提案する。
提案手法は,3次元検出器と比較して2次元検出器の訓練がはるかに容易であり,2次元画像平面上でのWr.t検出の精度が著しく向上する,という重要な知見に基づいている。
論文 参考訳（メタデータ） (2024-04-01T11:57:34Z) - SimPB: A Single Model for 2D and 3D Object Detection from Multiple Cameras [3.648972014796591]
ビュービュー内の2Dオブジェクトと、複数のカメラからBEV空間内の3Dオブジェクトを同時に検出するSimPBと呼ばれる単一のモデルを提案する。
ハイブリッドデコーダは複数のマルチビュー2Dデコーダ層と複数の3Dデコーダ層で構成され、それぞれの検出タスク用に特別に設計されている。
論文 参考訳（メタデータ） (2024-03-15T14:39:39Z) - Improving Distant 3D Object Detection Using 2D Box Supervision [97.80225758259147]
遠方の物体の欠損した深さを回復するフレームワークであるLR3Dを提案する。
我々のフレームワークは汎用的であり、3D検出手法を広く活用する可能性がある。
論文 参考訳（メタデータ） (2024-03-14T09:54:31Z) - Weakly Supervised 3D Object Detection via Multi-Level Visual Guidance [72.6809373191638]
本稿では,3次元ラベルを必要とせずに2次元ドメインと3次元ドメイン間の制約を活用できるフレームワークを提案する。
具体的には、LiDARと画像特徴をオブジェクト認識領域に基づいて整列する特徴レベルの制約を設計する。
第二に、出力レベルの制約は、2Dと投影された3Dボックスの推定の重なりを強制するために開発される。
第3に、トレーニングレベルの制約は、視覚データと整合した正確で一貫した3D擬似ラベルを生成することによって利用される。
論文 参考訳（メタデータ） (2023-12-12T18:57:25Z) - Recursive Cross-View: Use Only 2D Detectors to Achieve 3D Object
Detection without 3D Annotations [0.5439020425819]
本稿では,完全指向の3D境界ボックスを予測しながら,一切の3Dアノテーションを要求しない手法を提案する。
再帰的クロスビュー(Recursive Cross-View, RCV)と呼ばれる手法は, 3次元検出を複数の2次元検出タスクに変換するために3次元原理を利用する。
RCVは、3Dラベルを使わずに完全な3Dボックスを生成する最初の3D検出方法である。
論文 参考訳（メタデータ） (2022-11-14T04:51:05Z) - DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries [43.02373021724797]
マルチカメラ3Dオブジェクト検出のためのフレームワークを提案する。
本手法は3次元空間での予測を直接操作する。
我々はnuScenes自動運転ベンチマークで最先端の性能を達成する。
論文 参考訳（メタデータ） (2021-10-13T17:59:35Z) - Anchor-free 3D Single Stage Detector with Mask-Guided Attention for
Point Cloud [79.39041453836793]
我々は、点雲をアンカーフリーで検出する新しい1段3次元検出器を開発した。
ボクセルをベースとしたスパース3D特徴量からスパース2D特徴量マップに変換することでこれを克服する。
検出信頼度スコアとバウンディングボックス回帰の精度との相関性を改善するために,IoUに基づく検出信頼度再校正手法を提案する。
論文 参考訳（メタデータ） (2021-08-08T13:42:13Z) - FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection [78.00922683083776]
一般的な2D検出器をこの3Dタスクで動作させることは簡単ではない。
本報告では,完全畳み込み型単段検出器を用いた手法を用いてこの問題を考察する。
私たちのソリューションは、NeurIPS 2020のnuScenes 3D検出チャレンジのすべてのビジョンのみの方法の中で1位を獲得します。
論文 参考訳（メタデータ） (2021-04-22T09:35:35Z) - DSGN: Deep Stereo Geometry Network for 3D Object Detection [79.16397166985706]
画像ベースとLiDARベースの3Dオブジェクト検出器の間には大きなパフォーマンスギャップがある。
我々の手法であるDeep Stereo Geometry Network (DSGN)は,このギャップを著しく低減する。
初めて、シンプルで効果的な1段ステレオベースの3D検出パイプラインを提供する。
論文 参考訳（メタデータ） (2020-01-10T11:44:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。