論文の概要: DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention

• arxiv url: http://arxiv.org/abs/2212.07849v1
• Date: Thu, 15 Dec 2022 14:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 17:08:36.221957
• Title: DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention
• Title（参考訳）: DETR4D:スパース注意による直接多視点3次元物体検出
• Authors: Zhipeng Luo, Changqing Zhou, Gongjie Zhang, Shijian Lu
• Abstract要約: サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。 マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
• 参考スコア（独自算出の注目度）: 50.11672196146829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D object detection with surround-view images is an essential task for autonomous driving. In this work, we propose DETR4D, a Transformer-based framework that explores sparse attention and direct feature query for 3D object detection in multi-view images. We design a novel projective cross-attention mechanism for query-image interaction to address the limitations of existing methods in terms of geometric cue exploitation and information loss for cross-view objects. In addition, we introduce a heatmap generation technique that bridges 3D and 2D spaces efficiently via query initialization. Furthermore, unlike the common practice of fusing intermediate spatial features for temporal aggregation, we provide a new perspective by introducing a novel hybrid approach that performs cross-frame fusion over past object queries and image features, enabling efficient and robust modeling of temporal information. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of the proposed DETR4D.
• Abstract（参考訳）: サラウンドビュー画像を用いた3dオブジェクト検出は、自動運転に不可欠なタスクである。 本研究では,多視点画像における3Dオブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するTransformerベースのフレームワークであるDETR4Dを提案する。 そこで我々は,幾何的キューの活用と情報損失の観点から,既存の手法の限界に対処する,クエリ・イメージインタラクションのための新しい射影的クロスアテンション機構を設計する。 さらに,クエリ初期化により3次元空間と2次元空間を効率的にブリッジするヒートマップ生成手法を提案する。 さらに,時間的集約のための中間的空間的特徴を融合する一般的な手法とは異なり,過去のオブジェクトクエリと画像特徴をクロスフレームで融合し,時間的情報の効率的かつロバストなモデリングを可能にする新しいハイブリッドアプローチを導入することにより,新たな視点を提供する。 nuScenesデータセットに関する大規模な実験は、提案したDETR4Dの有効性と効率を実証している。

関連論文リスト

• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion [8.168523242105763]
  本稿では,新しい視覚変換器を用いた3次元物体検出モデルFusionViTを紹介する。 我々のFusionViTモデルは最先端の性能を達成でき、既存のベースライン法より優れています。
  論文  参考訳（メタデータ） (2023-11-07T00:12:01Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360{\deg} Omnidirectional Image [141.10227079090419]
  我々は,360度全方位画像中の有向物体を検出するために,MPFR-Net(Multi-Projection Fusion and Refinement Network)を提案する。 MPFR-Netは、等角射影像と対応する4つの立方体展開像を入力として使用する。 2つの全方位データセットの実験結果から,提案手法は定性的かつ定量的に,最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-23T14:50:40Z)
• A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
  周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。 マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。 我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-22T03:38:01Z)
• Single-Shot 3D Detection of Vehicles from Monocular RGB Images via Geometry Constrained Keypoints in Real-Time [6.82446891805815]
  単眼RGB画像における車両検出のための新しい3次元単発物体検出法を提案する。 提案手法は,3次元空間への2次元検出を付加回帰および分類パラメータの予測により引き上げる。 KITTI 3D Object Detection と新しい nuScenes Object Detection ベンチマークを用いて,自律走行のための異なるデータセットに対するアプローチを検証し,その評価を行った。
  論文  参考訳（メタデータ） (2020-06-23T15:10:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。