Fugu-MT 論文翻訳(概要): Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection

論文の概要: Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection

arxiv url: http://arxiv.org/abs/2307.00347v4
Date: Tue, 13 Aug 2024 03:22:50 GMT
ステータス: 処理完了
システム内更新日: 2024-08-14 23:38:51.672783
Title: Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection
Title（参考訳）: マルチフレーム3次元物体検出に向けた空間時間グラフ強化DETR
Authors: Yifan Zhang, Zhiyu Zhu, Junhui Hou, Dapeng Wu,
Abstract要約: STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
参考スコア（独自算出の注目度）: 54.041049052843604
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Detection Transformer (DETR) has revolutionized the design of CNN-based object detection systems, showcasing impressive performance. However, its potential in the domain of multi-frame 3D object detection remains largely unexplored. In this paper, we present STEMD, a novel end-to-end framework that enhances the DETR-like paradigm for multi-frame 3D object detection by addressing three key aspects specifically tailored for this task. First, to model the inter-object spatial interaction and complex temporal dependencies, we introduce the spatial-temporal graph attention network, which represents queries as nodes in a graph and enables effective modeling of object interactions within a social context. To solve the problem of missing hard cases in the proposed output of the encoder in the current frame, we incorporate the output of the previous frame to initialize the query input of the decoder. Finally, it poses a challenge for the network to distinguish between the positive query and other highly similar queries that are not the best match. And similar queries are insufficiently suppressed and turn into redundant prediction boxes. To address this issue, our proposed IoU regularization term encourages similar queries to be distinct during the refinement. Through extensive experiments, we demonstrate the effectiveness of our approach in handling challenging scenarios, while incurring only a minor additional computational overhead. The code is publicly available at https://github.com/Eaphan/STEMD.
Abstract（参考訳）: 検出変換器(DETR)はCNNベースのオブジェクト検出システムの設計に革命をもたらし、優れた性能を示している。しかし、マルチフレーム3Dオブジェクト検出の領域におけるその可能性はほとんど解明されていない。本稿では,この課題に特化している3つの重要な側面に対処することにより,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを強化する,新しいエンドツーエンドフレームワークであるSTEMDを提案する。まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、グラフ内のクエリをノードとして表現し、社会的文脈内でのオブジェクト間の相互作用を効果的にモデル化する空間的時間的グラフアテンションネットワークを導入する。現在のフレームにおけるエンコーダの出力提案におけるハードケースの欠落を解決するため、前フレームの出力を組み込んでデコーダのクエリ入力を初期化する。最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。そして、同様のクエリは不十分に抑制され、冗長な予測ボックスに変換される。この問題に対処するため,提案したIoU正規化項では,改良期間中に類似したクエリを区別することを推奨している。大規模な実験を通じて,計算オーバーヘッドをわずかに加えるだけで,難解なシナリオに対処する手法の有効性を実証する。コードはhttps://github.com/Eaphan/STEMD.comで公開されている。

関連論文リスト

A Modern Take on Visual Relationship Reasoning for Grasp Planning [10.543168383800532]
本稿では,視覚的リレーショナル推論による把握計画を提案する。 D3GDは、97の異なるカテゴリから最大35のオブジェクトを持つビンピックシーンを含む、新しいテストベッドである。また、新しいエンドツーエンドのトランスフォーマーベースの依存性グラフ生成モデルであるD3Gを提案する。
論文参考訳（メタデータ） (2024-09-03T16:30:48Z)
Diff3DETR:Agent-based Diffusion Model for Semi-supervised 3D Object Detection [33.58208166717537]
3次元物体検出は3次元シーンの理解に不可欠である。半教師付き手法の最近の発展は、教師による学習フレームワークを用いて、未ラベルの点群に対する擬似ラベルを生成することにより、この問題を緩和しようとしている。半教師付き3次元物体検出のためのエージェントベース拡散モデル(Diff3DETR)を提案する。
論文参考訳（メタデータ） (2024-08-01T05:04:22Z)
SSGA-Net: Stepwise Spatial Global-local Aggregation Networks for for Autonomous Driving [27.731481134782577]
現在のモデルは、通常、タスクヘッドのオブジェクト表現を強化するために隣のフレームから特徴を集約します。これらの手法は将来のフレームからの情報に依存し、高い計算複雑性に悩まされる。本稿では,これらの問題を解決するために,段階的に空間的局所集約ネットワークを導入する。
論文参考訳（メタデータ） (2024-05-29T08:12:51Z)
PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
PoIFusionは、関心点(PoIs)におけるRGBイメージとLiDARポイントクラウドに関する情報を融合するフレームワークである。提案手法は,各モダリティの視点を維持し,計算にやさしいプロジェクションと計算によってマルチモーダル特徴を得る。我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。
論文参考訳（メタデータ） (2024-03-14T09:28:12Z)
DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
論文参考訳（メタデータ） (2022-12-15T14:18:47Z)
3D-QueryIS: A Query-based Framework for 3D Instance Segmentation [74.6998931386331]
従来の3Dインスタンスセグメンテーションの方法は、しばしばタスク間の依存関係と堅牢性の欠如の傾向を維持する。本稿では,3D-QueryISと呼ばれる新しい問合せ方式を提案する。私たちの3D-QueryISは、タスク間の依存関係による累積エラーから解放されています。
論文参考訳（メタデータ） (2022-11-17T07:04:53Z)
Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
論文参考訳（メタデータ） (2021-09-01T07:01:33Z)
PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection [57.49788100647103]
LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
論文参考訳（メタデータ） (2020-12-18T18:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。