論文の概要: State Space Model Meets Transformer: A New Paradigm for 3D Object Detection

• arxiv url: http://arxiv.org/abs/2503.14493v2
• Date: Wed, 19 Mar 2025 14:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 12:01:02.513638
• Title: State Space Model Meets Transformer: A New Paradigm for 3D Object Detection
• Title（参考訳）: State Space Model Meets Transformer: 3Dオブジェクト検出のための新しいパラダイム
• Authors: Chuxin Wang, Wenfei Yang, Xiang Liu, Tianzhu Zhang,
• Abstract要約: インタラクティブなSTate空間モデル(DEST)を用いた新しい3次元オブジェクト検出パラダイムを提案する。 対話型SSMでは,3次元屋内検出タスクにおいて,システム状態が効率的にクエリとして機能する新しい状態依存型SSMパラメータ化法を設計する。 ScanNet V2 と SUN RGB-D データセットの AP50 で GroupFree のベースラインを改善する。
• 参考スコア（独自算出の注目度）: 33.49952392298874
• License:
• Abstract: DETR-based methods, which use multi-layer transformer decoders to refine object queries iteratively, have shown promising performance in 3D indoor object detection. However, the scene point features in the transformer decoder remain fixed, leading to minimal contributions from later decoder layers, thereby limiting performance improvement. Recently, State Space Models (SSM) have shown efficient context modeling ability with linear complexity through iterative interactions between system states and inputs. Inspired by SSMs, we propose a new 3D object DEtection paradigm with an interactive STate space model (DEST). In the interactive SSM, we design a novel state-dependent SSM parameterization method that enables system states to effectively serve as queries in 3D indoor detection tasks. In addition, we introduce four key designs tailored to the characteristics of point cloud and SSM: The serialization and bidirectional scanning strategies enable bidirectional feature interaction among scene points within the SSM. The inter-state attention mechanism models the relationships between state points, while the gated feed-forward network enhances inter-channel correlations. To the best of our knowledge, this is the first method to model queries as system states and scene points as system inputs, which can simultaneously update scene point features and query features with linear complexity. Extensive experiments on two challenging datasets demonstrate the effectiveness of our DEST-based method. Our method improves the GroupFree baseline in terms of AP50 on ScanNet V2 (+5.3) and SUN RGB-D (+3.2) datasets. Based on the VDETR baseline, Our method sets a new SOTA on the ScanNetV2 and SUN RGB-D datasets.
• Abstract（参考訳）: オブジェクトクエリを反復的に洗練するために多層トランスフォーマーデコーダを使用するDETR法は、3次元屋内オブジェクト検出において有望な性能を示した。 しかし、トランスデコーダのシーンポイント機能は固定されているため、後のデコーダ層からのコントリビューションが最小限になるため、パフォーマンス改善が制限される。 近年、状態空間モデル (SSM) は、システム状態と入力間の反復的相互作用を通じて、線形複雑性を伴う効率的なコンテキストモデリング能力を示している。 SSMに触発されて,インタラクティブなSTate空間モデル(DEST)を用いた新しい3次元オブジェクト検出パラダイムを提案する。 対話型SSMでは,3次元屋内検出タスクにおいて,システム状態が効率的にクエリとして機能する新しい状態依存型SSMパラメータ化法を設計する。 さらに,ポイントクラウドとSSMの特徴に合わせた4つのキーデザインを紹介した。 シリアライズと双方向走査戦略により,SSM内のシーンポイント間の双方向の特徴相互作用が可能となる。 状態間注意機構は状態点間の関係をモデル化し、ゲートフィードフォワードネットワークはチャネル間相関を強化する。 我々の知る限り、これはシステム状態とシーンポイントをシステム入力としてモデル化する最初の方法であり、同時にシーンポイント機能とクエリ機能を線形複雑に更新することができる。 2つの挑戦的なデータセットに対する大規模な実験は、DESTベースの手法の有効性を実証している。 ScanNet V2 (+5.3) および SUN RGB-D (+3.2) データセットの AP50 で GroupFree ベースラインを改善する。 VDETRベースラインに基づいて,ScanNetV2とSUN RGB-Dデータセットに新たなSOTAを設定する。

関連論文リスト

• PTT: Point-Trajectory Transformer for Efficient Temporal 3D Object Detection [66.94819989912823]
  時間的3次元物体検出を効率的に行うために,長期記憶が可能な点トラジェクトリ変換器を提案する。 私たちは、メモリバンクのストレージ要件を最小限に抑えるために、現在のフレームオブジェクトのポイントクラウドとその履歴トラジェクトリを入力として使用します。 大規模データセットに対する広範な実験を行い、我々のアプローチが最先端の手法に対してうまく機能することを実証した。
  論文  参考訳（メタデータ） (2023-12-13T18:59:13Z)
• 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds [95.54285993019843]
  本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。 本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
  論文  参考訳（メタデータ） (2022-11-01T20:59:38Z)
• Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in Driving Scenes [82.4186966781934]
  Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。 Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。 無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-18T03:48:58Z)
• SRCN3D: Sparse R-CNN 3D for Compact Convolutional Multi-View 3D Object Detection and Tracking [12.285423418301683]
  本稿では,スパースクエリ,ボックスワイズサンプリングによるスパースアテンション,スパース予測を組み込んだ新しい2段フルスパース検出器であるスパースR-CNN3Dを提案する。 nuScenesデータセットの実験では、SRCN3Dは3Dオブジェクト検出とマルチオブジェクト追跡の両方で競合性能を達成している。
  論文  参考訳（メタデータ） (2022-06-29T07:58:39Z)
• LocATe: End-to-end Localization of Actions in 3D with Transformers [91.28982770522329]
  LocATeは、3Dシーケンスでアクションを共同でローカライズし認識するエンドツーエンドのアプローチである。 画像やパッチの特徴を入力として考えるトランスフォーマーベースのオブジェクト検出や分類モデルとは異なり、LocATeのトランスフォーマーモデルはシーケンス内のアクション間の長期的な相関をキャプチャすることができる。 BABEL-TAL-20 (BT20) という新しい,挑戦的で,より現実的なベンチマークデータセットを導入する。
  論文  参考訳（メタデータ） (2022-03-21T03:35:32Z)
• The Devil is in the Task: Exploiting Reciprocal Appearance-Localization Features for Monocular 3D Object Detection [62.1185839286255]
  低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。 DFR-Netという動的特徴反射ネットワークを導入する。 我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
  論文  参考訳（メタデータ） (2021-12-28T07:31:18Z)
• Spatial-Temporal Transformer for 3D Point Cloud Sequences [23.000688043417913]
  本稿では,空間時間表現を学習するためのPST(Point Space-Temporal Transformer)という新しいフレームワークを提案する。 我々のPST2は2つの主要なモジュールからなる: 時空間自己認識(STSA)モジュールと分解能埋め込み(RE)モジュール。 PST2の有効性を、ポイントクラウドシーケンス上の2つの異なるタスク、すなわち4Dセマンティックセグメンテーションと3Dアクション認識で検証する。
  論文  参考訳（メタデータ） (2021-10-19T07:55:47Z)
• Improving 3D Object Detection with Channel-wise Transformer [58.668922561622466]
  我々は手作りの最小限の設計で2段階の3Dオブジェクト検出フレームワーク(CT3D)を提案する。 CT3Dは、提案対応の埋め込みとチャンネルワイドコンテキストアグリゲーションを同時に行う。 これはKITTIテスト3D検出ベンチマークで中等車カテゴリーで81.77%のAPを達成した。
  論文  参考訳（メタデータ） (2021-08-23T02:03:40Z)
• Anchor-Based Spatial-Temporal Attention Convolutional Networks for Dynamic 3D Point Cloud Sequences [20.697745449159097]
  動的3次元点雲列を処理するために,アンカー型時空間注意畳み込み演算(astaconv)を提案する。 提案する畳み込み操作は、各点の周囲に複数の仮想アンカーを設定することにより、各点の周囲にレギュラーレセプティブフィールドを構築する。 提案手法は,局所領域内の構造化情報をよりよく活用し,動的3次元点雲列から空間-時間埋め込み特徴を学習する。
  論文  参考訳（メタデータ） (2020-12-20T07:35:37Z)
• Relation3DMOT: Exploiting Deep Affinity for 3D Multi-Object Tracking from View Aggregation [8.854112907350624]
  3Dマルチオブジェクトトラッキングは、自律ナビゲーションにおいて重要な役割を果たす。 多くのアプローチでは、トラッキングのための2次元RGBシーケンス内のオブジェクトを検出するが、これは3次元空間内のオブジェクトをローカライズする際の信頼性の欠如である。 本稿では,隣接フレーム内の各オブジェクト間の相関をよりよく活用するために,RelationConvという新しい畳み込み演算を提案する。
  論文  参考訳（メタデータ） (2020-11-25T16:14:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。