論文の概要: MambaMOS: LiDAR-based 3D Moving Object Segmentation with Motion-aware State Space Model
- arxiv url: http://arxiv.org/abs/2404.12794v1
- Date: Fri, 19 Apr 2024 11:17:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 15:16:46.783731
- Title: MambaMOS: LiDAR-based 3D Moving Object Segmentation with Motion-aware State Space Model
- Title(参考訳): MambaMOS:動き認識状態空間モデルによるLiDARによる3次元移動物体のセグメンテーション
- Authors: Kang Zeng, Hao Shi, Jiacheng Lin, Siyu Li, Jintao Cheng, Kaiwei Wang, Zhiyong Li, Kailun Yang,
- Abstract要約: MambaMOSと呼ばれる動き認識状態空間モデルを用いた新しいLiDARベースの3D移動物体を提案する。
我々は,点雲における時間・空間情報の結合性を高めるため,新しい埋め込みモジュールであるTime Clue Bootstrapping Embedding (TCBE)を開発した。
また、動作認識状態空間モデル(MSSM)を導入し、異なる時間ステップで同じ物体の時間的相関を理解する能力を持つモデルを提案する。
- 参考スコア(独自算出の注目度): 15.418115686945056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LiDAR-based Moving Object Segmentation (MOS) aims to locate and segment moving objects in point clouds of the current scan using motion information from previous scans. Despite the promising results achieved by previous MOS methods, several key issues, such as the weak coupling of temporal and spatial information, still need further study. In this paper, we propose a novel LiDAR-based 3D Moving Object Segmentation with Motion-aware State Space Model, termed MambaMOS. Firstly, we develop a novel embedding module, the Time Clue Bootstrapping Embedding (TCBE), to enhance the coupling of temporal and spatial information in point clouds and alleviate the issue of overlooked temporal clues. Secondly, we introduce the Motion-aware State Space Model (MSSM) to endow the model with the capacity to understand the temporal correlations of the same object across different time steps. Specifically, MSSM emphasizes the motion states of the same object at different time steps through two distinct temporal modeling and correlation steps. We utilize an improved state space model to represent these motion differences, significantly modeling the motion states. Finally, extensive experiments on the SemanticKITTI-MOS and KITTI-Road benchmarks demonstrate that the proposed MambaMOS achieves state-of-the-art performance. The source code of this work will be made publicly available at https://github.com/Terminal-K/MambaMOS.
- Abstract(参考訳): LiDARベースの移動物体分割(Motion Object Segmentation, MOS)は、現在のスキャンの点雲における移動物体の位置とセグメントを、以前のスキャンからの動き情報を用いて求めることを目的としている。
従来のMOS手法による有望な結果にもかかわらず、時間的・空間的な情報の弱い結合などいくつかの重要な問題はまだ研究が必要である。
本稿では,動き認識状態空間モデル(MambaMOS)を用いた新しいLiDARベースの3次元移動物体セグメンテーションを提案する。
まず,新しい組込みモジュールであるTime Clue Bootstrapping Embedding (TCBE)を開発した。
次に、動作認識状態空間モデル(MSSM)を導入し、異なる時間ステップで同じ物体の時間的相関を理解する能力を持つモデルを提案する。
特に、MSSMは2つの異なる時間的モデリングと相関ステップを通して、同じ物体の運動状態を異なる時間ステップで強調する。
我々は、これらの運動差を表すために改良された状態空間モデルを使用し、運動状態を大幅にモデル化する。
最後に、SemanticKITTI-MOSとKITTI-Roadベンチマークに関する広範な実験により、提案したMambaMOSが最先端のパフォーマンスを達成することを示した。
この作業のソースコードはhttps://github.com/Terminal-K/MambaMOSで公開されている。
関連論文リスト
- MF-MOS: A Motion-Focused Model for Moving Object Segmentation [10.533968185642415]
移動オブジェクトセグメンテーション(MOS)は、トラフィック参加者を検出する信頼性の高いソリューションを提供する。
これまでの方法では、レンジ画像から直接動きの特徴をキャプチャする。
We propose MF-MOS, a novel motion- focused model with a dual-branch structure for LiDAR moving object segmentation。
論文 参考訳(メタデータ) (2024-01-30T13:55:56Z) - Motion-to-Matching: A Mixed Paradigm for 3D Single Object Tracking [27.805298263103495]
本稿では,モーションモデリングと特徴マッチングを組み合わせたMTM-Trackerを提案する。
第1段階では、連続した履歴ボックスを先行動作として利用し、ターゲットの粗い位置を特定するエンコーダ・デコーダ構造を提案する。
第2段階では、連続する点雲から動きを認識する特徴を抽出し、それらをマッチングして目標運動を洗練させる特徴相互作用モジュールを導入する。
論文 参考訳(メタデータ) (2023-08-23T02:40:51Z) - Delving into Motion-Aware Matching for Monocular 3D Object Tracking [81.68608983602581]
異なる時間軸に沿った物体の運動キューが3次元多物体追跡において重要であることが判明した。
3つの動き認識コンポーネントからなるフレームワークであるMoMA-M3Tを提案する。
我々はnuScenesとKITTIデータセットに関する広範な実験を行い、MoMA-M3Tが最先端の手法と競合する性能を発揮することを実証した。
論文 参考訳(メタデータ) (2023-08-22T17:53:58Z) - Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.89014020303557]
HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。
従来の手法は手作りの機能と機械学習技術に依存している。
HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-02T12:04:28Z) - TrajectoryFormer: 3D Object Tracking Transformer with Predictive
Trajectory Hypotheses [51.60422927416087]
3Dマルチオブジェクトトラッキング(MOT)は、自律走行車やサービスロボットを含む多くのアプリケーションにとって不可欠である。
本稿では,新しいポイントクラウドベースの3DMOTフレームワークであるTrjectoryFormerを紹介する。
論文 参考訳(メタデータ) (2023-06-09T13:31:50Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-06-05T04:24:11Z) - Event-Free Moving Object Segmentation from Moving Ego Vehicle [90.66285408745453]
動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において困難である。
ほとんどの最先端の手法は、光学フローマップから得られるモーションキューを利用する。
我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
論文 参考訳(メタデータ) (2023-04-28T23:43:10Z) - InsMOS: Instance-Aware Moving Object Segmentation in LiDAR Data [13.196031553445117]
本稿では,3次元LiDARスキャンにおける移動物体のセグメント化という課題に対処する新しいネットワークを提案する。
提案手法は点雲の列を入力として利用し,それらを4次元ボクセルに定量化する。
我々は,4Dボクセルから運動特徴を抽出し,電流スキャンに注入するために,4Dスパース畳み込みを用いる。
論文 参考訳(メタデータ) (2023-03-07T14:12:52Z) - Efficient Spatial-Temporal Information Fusion for LiDAR-Based 3D Moving
Object Segmentation [23.666607237164186]
本稿では,LiDAR-MOSの性能向上のために,空間時空間情報とLiDARスキャンの異なる表現モダリティを併用した新しいディープニューラルネットワークを提案する。
具体的には、まず、空間情報と時間情報とを別々に扱うために、レンジ画像に基づくデュアルブランチ構造を用いる。
また、3次元スパース畳み込みによるポイントリファインメントモジュールを使用して、LiDAR範囲の画像とポイントクラウド表現の両方からの情報を融合する。
論文 参考訳(メタデータ) (2022-07-05T17:59:17Z) - Exploring Motion and Appearance Information for Temporal Sentence
Grounding [52.01687915910648]
本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。
動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。
提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2022-01-03T02:44:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。