論文の概要: Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection

• arxiv url: http://arxiv.org/abs/2307.00347v3
• Date: Fri, 5 Jul 2024 03:16:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 01:11:44.815009
• Title: Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection
• Title（参考訳）: マルチフレーム3次元物体検出に向けた空間時間グラフ強化DETR
• Authors: Yifan Zhang, Zhiyu Zhu, Junhui Hou, Dapeng Wu,
• Abstract要約: STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。 まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。 最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
• 参考スコア（独自算出の注目度）: 54.041049052843604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Detection Transformer (DETR) has revolutionized the design of CNN-based object detection systems, showcasing impressive performance. However, its potential in the domain of multi-frame 3D object detection remains largely unexplored. In this paper, we present STEMD, a novel end-to-end framework that enhances the DETR-like paradigm for multi-frame 3D object detection by addressing three key aspects specifically tailored for this task. First, to model the inter-object spatial interaction and complex temporal dependencies, we introduce the spatial-temporal graph attention network, which represents queries as nodes in a graph and enables effective modeling of object interactions within a social context. To solve the problem of missing hard cases in the proposed output of the encoder in the current frame, we incorporate the output of the previous frame to initialize the query input of the decoder. Finally, it poses a challenge for the network to distinguish between the positive query and other highly similar queries that are not the best match. And similar queries are insufficiently suppressed and turn into redundant prediction boxes. To address this issue, our proposed IoU regularization term encourages similar queries to be distinct during the refinement. Through extensive experiments, we demonstrate the effectiveness of our approach in handling challenging scenarios, while incurring only a minor additional computational overhead. The code is publicly available at https://github.com/Eaphan/STEMD.
• Abstract（参考訳）: 検出変換器(DETR)はCNNベースのオブジェクト検出システムの設計に革命をもたらし、優れた性能を示している。 しかし、マルチフレーム3Dオブジェクト検出の領域におけるその可能性はほとんど解明されていない。 本稿では,この課題に特化している3つの重要な側面に対処することにより,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを強化する,新しいエンドツーエンドフレームワークであるSTEMDを提案する。 まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、グラフ内のクエリをノードとして表現し、社会的文脈内でのオブジェクト間の相互作用を効果的にモデル化する空間的時間的グラフアテンションネットワークを導入する。 現在のフレームにおけるエンコーダの出力提案におけるハードケースの欠落を解決するため、前フレームの出力を組み込んでデコーダのクエリ入力を初期化する。 最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。 そして、同様のクエリは不十分に抑制され、冗長な予測ボックスに変換される。 この問題に対処するため,提案したIoU正規化項では,改良期間中に類似したクエリを区別することを推奨している。 大規模な実験を通じて,計算オーバーヘッドをわずかに加えるだけで,難解なシナリオに対処する手法の有効性を実証する。 コードはhttps://github.com/Eaphan/STEMD.comで公開されている。

関連論文リスト

• SSGA-Net: Stepwise Spatial Global-local Aggregation Networks for for Autonomous Driving [27.731481134782577]
  現在のモデルは、通常、タスクヘッドのオブジェクト表現を強化するために隣のフレームから特徴を集約します。 これらの手法は将来のフレームからの情報に依存し、高い計算複雑性に悩まされる。 本稿では,これらの問題を解決するために,段階的に空間的局所集約ネットワークを導入する。
  論文  参考訳（メタデータ） (2024-05-29T08:12:51Z)
• PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
  PoIFusionは興味のある時点でRGB画像とLiDAR点雲の情報を融合する(略してPoI) 本手法は、ビュー変換による情報損失を防止し、計算集約的なグローバルな注意をなくす。 注目すべきは、私たちのPoIFusionは74.9%のNDSと73.4%のmAPを獲得し、マルチモーダルな3Dオブジェクト検出ベンチマークで最先端の記録を樹立したことです。
  論文  参考訳（メタデータ） (2024-03-14T09:28:12Z)
• DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
  サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。 マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
  論文  参考訳（メタデータ） (2022-12-15T14:18:47Z)
• 3D-QueryIS: A Query-based Framework for 3D Instance Segmentation [74.6998931386331]
  従来の3Dインスタンスセグメンテーションの方法は、しばしばタスク間の依存関係と堅牢性の欠如の傾向を維持する。 本稿では,3D-QueryISと呼ばれる新しい問合せ方式を提案する。 私たちの3D-QueryISは、タスク間の依存関係による累積エラーから解放されています。
  論文  参考訳（メタデータ） (2022-11-17T07:04:53Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection [57.49788100647103]
  LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。 現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。 本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
  論文  参考訳（メタデータ） (2020-12-18T18:06:43Z)
• Generative Sparse Detection Networks for 3D Single-shot Object Detection [43.91336826079574]
  3Dオブジェクト検出は、ロボット工学や拡張現実など多くの有望な分野に適用可能であるため、広く研究されている。 しかし、3Dデータのまばらな性質は、このタスクに固有の課題をもたらしている。 本稿では,完全畳み込み単一ショットスパース検出ネットワークであるGenerative Sparse Detection Network (GSDN)を提案する。
  論文  参考訳（メタデータ） (2020-06-22T15:54:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。