論文の概要: S3MOT: Monocular 3D Object Tracking with Selective State Space Model

• arxiv url: http://arxiv.org/abs/2504.18068v1
• Date: Fri, 25 Apr 2025 04:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.642056
• Title: S3MOT: Monocular 3D Object Tracking with Selective State Space Model
• Title（参考訳）: S3MOT:選択状態空間モデルを用いた単眼3次元物体追跡
• Authors: Zhuohao Yan, Shaoquan Feng, Xingxing Li, Yuxuan Zhou, Chunxi Xia, Shengyu Li,
• Abstract要約: 3次元空間における多物体追跡は、ロボット工学とコンピュータ応用の進歩に不可欠である。 2Dビデオストリームからの3Dアソシエーションのマイニングが難しいため、モノラルなセットアップでは依然として大きな課題である。 モノクローナル3次元MOTのための不均一なキューの融合を促進するための3つの革新的な技術を提案する。
• 参考スコア（独自算出の注目度）: 3.5047603107971397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate and reliable multi-object tracking (MOT) in 3D space is essential for advancing robotics and computer vision applications. However, it remains a significant challenge in monocular setups due to the difficulty of mining 3D spatiotemporal associations from 2D video streams. In this work, we present three innovative techniques to enhance the fusion and exploitation of heterogeneous cues for monocular 3D MOT: (1) we introduce the Hungarian State Space Model (HSSM), a novel data association mechanism that compresses contextual tracking cues across multiple paths, enabling efficient and comprehensive assignment decisions with linear complexity. HSSM features a global receptive field and dynamic weights, in contrast to traditional linear assignment algorithms that rely on hand-crafted association costs. (2) We propose Fully Convolutional One-stage Embedding (FCOE), which eliminates ROI pooling by directly using dense feature maps for contrastive learning, thus improving object re-identification accuracy under challenging conditions such as varying viewpoints and lighting. (3) We enhance 6-DoF pose estimation through VeloSSM, an encoder-decoder architecture that models temporal dependencies in velocity to capture motion dynamics, overcoming the limitations of frame-based 3D inference. Experiments on the KITTI public test benchmark demonstrate the effectiveness of our method, achieving a new state-of-the-art performance of 76.86~HOTA at 31~FPS. Our approach outperforms the previous best by significant margins of +2.63~HOTA and +3.62~AssA, showcasing its robustness and efficiency for monocular 3D MOT tasks. The code and models are available at https://github.com/bytepioneerX/s3mot.
• Abstract（参考訳）: 3次元空間における高精度で信頼性の高い多物体追跡(MOT)は、ロボット工学やコンピュータビジョンの応用を進める上で不可欠である。 しかし,2次元ビデオストリームから3次元時空間的関連を抽出することが困難であるため,単眼での重要な課題である。 本研究は,モノクロ3次元MOTのための不均一なキューの融合と利用を促進する3つの革新的な手法を提案する。(1)複数の経路にまたがってコンテキスト追跡キューを圧縮し,線形複雑化を伴う効率的かつ包括的な割り当て決定を可能にする,新しいデータアソシエーション機構であるハンガリー国家空間モデル(HSSM)を導入する。 HSSMは、手作りのアソシエーションコストに依存する従来の線形代入アルゴリズムとは対照的に、グローバルな受容場と動的重みが特徴である。 2)FCOE(Fully Convolutional One-stage Embedding)は,コントラスト学習に高密度特徴マップを直接使用することによりROIプールを解消し,視点や照明の異なる困難な条件下での物体の再識別精度を向上させる。 (3) フレームベースの3D推論の限界を克服し,速度の時間依存性をモデル化するエンコーダデコーダアーキテクチャであるVeloSSMによる6-DoFポーズ推定を強化した。 KITTIの公開試験ベンチマーク実験では,31～FPSで76.86～HOTAの最先端性能を実現し,本手法の有効性を実証した。 提案手法は,2.63~HOTAと+3.62~AssAの有意なマージンで,その頑丈さと効率性を示した。 コードとモデルはhttps://github.com/bytepioneerX/s3mot.comから入手できる。

関連論文リスト

• Global-Aware Monocular Semantic Scene Completion with State Space Models [25.621011183332094]
  Monocular Semantic Scene Completion (MonoSSC)は、単一の画像から3D環境を再構成し、解釈する。 既存の手法は、しばしば畳み込みネットワーク(CNN)の局所受容領域によって制約される。 GA-MonoSSCは2次元画像領域と3次元空間の両方のグローバルコンテキストを効果的にキャプチャするMonoSSCのハイブリッドアーキテクチャである。
  論文  参考訳（メタデータ） (2025-03-09T11:55:40Z)
• GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency [50.11520458252128]
  既存の3Dアベイランス学習手法は、注釈付きデータに制限があるため、一般化と堅牢性に苦慮している。 本稿では,大規模事前学習型2Dモデルを活用することで,3次元アベイランス学習の一般化と堅牢性を高めるための新しいフレームワークであるGEALを提案する。 GEALは、既存のメソッドと、新しいオブジェクトカテゴリ、および破損したデータにおいて、一貫して優れています。
  論文  参考訳（メタデータ） (2024-12-12T17:59:03Z)
• Street Gaussians without 3D Object Tracker [86.62329193275916]
  既存の方法は、標準空間における動的オブジェクトを再構築するために、オブジェクトポーズの労働集約的な手動ラベリングに依存している。 本研究では,3次元オブジェクト融合戦略における2次元ディープトラッカーの関連性を利用して,安定なオブジェクト追跡モジュールを提案する。 我々は、軌道誤差を自律的に補正し、見逃した検出を回復する暗黙の特徴空間に、モーションラーニング戦略を導入することで、避けられないトラッキングエラーに対処する。
  論文  参考訳（メタデータ） (2024-12-07T05:49:42Z)
• MetaSSC: Enhancing 3D Semantic Scene Completion for Autonomous Driving through Meta-Learning and Long-sequence Modeling [3.139165705827712]
  セマンティックシーン補完(SSC)のためのメタラーニングに基づく新しいフレームワークであるMetaSSCを紹介する。 我々のアプローチは、不完全領域のセマンティックスと幾何学を探求することを目的とした、ボクセルに基づくセマンティックセマンティックセマンティクス(SS)事前訓練タスクから始まる。 シミュレーションされた協調認識データセットを用いて、集約されたセンサデータを用いて1台の車両の知覚訓練を監督する。 このメタ知識は、二重フェーズのトレーニング戦略を通じてターゲットドメインに適応し、効率的なデプロイメントを可能にする。
  論文  参考訳（メタデータ） (2024-11-06T05:11:25Z)
• Unleashing the Potential of Mamba: Boosting a LiDAR 3D Sparse Detector by Using Cross-Model Knowledge Distillation [22.653014803666668]
  FASDと呼ばれる高速LiDAR3Dオブジェクト検出フレームワークを提案する。 高速シーケンスモデリングのための変換器のキャパシティをFLOPの低いMambaモデルに蒸留し,知識伝達による精度の向上を実現することを目的とする。 我々は,データセットとnuScenesのフレームワークを評価し,リソース消費の4倍の削減と,現在のSoTA手法よりも1-2%の性能向上を実現した。
  論文  参考訳（メタデータ） (2024-09-17T09:30:43Z)
• ShaSTA-Fuse: Camera-LiDAR Sensor Fusion to Model Shape and Spatio-Temporal Affinities for 3D Multi-Object Tracking [26.976216624424385]
  3Dマルチオブジェクトトラッキング(MOT)は、自律移動エージェントが安全にシーンをナビゲートするために不可欠である。 我々は,カメラとLiDARセンサ情報を融合した3DMOTフレームワークの開発を目指している。
  論文  参考訳（メタデータ） (2023-10-04T02:17:59Z)
• EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting Ego-Motion Rigidity [13.02735046166494]
  自己監督型単分子シーンフロー推定は、単純で経済的なセンサーの設置に注目が集まっている。 本稿では,教師あり学習の範囲内でのネットワークアーキテクチャ設計の利点を活かして,EMR-MSFという優れたモデルを提案する。 KITTIのシーンフローベンチマークでは,最先端の自己監督単分子法のSF-all測定値が44%向上した。
  論文  参考訳（メタデータ） (2023-09-04T00:30:06Z)
• Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling [13.284947022380404]
  頭部と手の3つの追跡信号だけで、正確でスムーズな全身運動を得ることができる2段階のフレームワークを提案する。 本フレームワークは,第1段階の関節レベル特徴を明示的にモデル化し,第2段階の関節レベル相関を捉えるために,空間的および時間的トランスフォーマーブロックの交互化に時間的トークンとして利用する。 AMASSモーションデータセットと実捕集データに関する広範な実験により,提案手法は既存の手法と比較して,より正確で滑らかな動きを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-08-17T08:27:55Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)
• Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
  3D MOT問題に対する統一型学習型アプローチを提案します。 我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。 AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
  論文  参考訳（メタデータ） (2021-04-23T17:59:28Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。