論文の概要: Point Cloud Mamba: Point Cloud Learning via State Space Model
- arxiv url: http://arxiv.org/abs/2403.00762v4
- Date: Fri, 11 Oct 2024 07:27:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:28:30.569686
- Title: Point Cloud Mamba: Point Cloud Learning via State Space Model
- Title（参考訳）: Point Cloud Mamba: 状態空間モデルによるポイントクラウド学習
- Authors: Tao Zhang, Haobo Yuan, Lu Qi, Jiangning Zhang, Qianyu Zhou, Shunping Ji, Shuicheng Yan, Xiangtai Li,
- Abstract要約: 我々は,マンバをベースとしたポイントクラウド法が,トランスフォーマや多層パーセプトロン(MLP)に基づく従来手法よりも優れていることを示す。
特に,マルチ層パーセプトロン(MLP)を用いて,マンバをベースとした点雲法が従来手法より優れていることを示す。
Point Cloud Mambaは、最先端(SOTA)のポイントベースメソッドであるPointNeXtを超え、ScanNN、ModelNet40、ShapeNetPart、S3DISデータセット上での新たなSOTAパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 73.7454734756626
- License:
- Abstract: Recently, state space models have exhibited strong global modeling capabilities and linear computational complexity in contrast to transformers. This research focuses on applying such architecture to more efficiently and effectively model point cloud data globally with linear computational complexity. In particular, for the first time, we demonstrate that Mamba-based point cloud methods can outperform previous methods based on transformer or multi-layer perceptrons (MLPs). To enable Mamba to process 3-D point cloud data more effectively, we propose a novel Consistent Traverse Serialization method to convert point clouds into 1-D point sequences while ensuring that neighboring points in the sequence are also spatially adjacent. Consistent Traverse Serialization yields six variants by permuting the order of \textit{x}, \textit{y}, and \textit{z} coordinates, and the synergistic use of these variants aids Mamba in comprehensively observing point cloud data. Furthermore, to assist Mamba in handling point sequences with different orders more effectively, we introduce point prompts to inform Mamba of the sequence's arrangement rules. Finally, we propose positional encoding based on spatial coordinate mapping to inject positional information into point cloud sequences more effectively. Point Cloud Mamba surpasses the state-of-the-art (SOTA) point-based method PointNeXt and achieves new SOTA performance on the ScanObjectNN, ModelNet40, ShapeNetPart, and S3DIS datasets. It is worth mentioning that when using a more powerful local feature extraction module, our PCM achieves 79.6 mIoU on S3DIS, significantly surpassing the previous SOTA models, DeLA and PTv3, by 5.5 mIoU and 4.9 mIoU, respectively.
- Abstract（参考訳）: 近年、状態空間モデルは、変換器とは対照的に、強力な大域的モデリング能力と線形計算複雑性を示した。
本研究は, 線形計算複雑性を伴って, グローバルなポイントクラウドデータをより効率的に, 効果的にモデル化することに焦点を当てる。
特に,マンバをベースとしたポイントクラウド法は,トランスフォーマーや多層パーセプトロン(MLP)をベースとした従来手法よりも優れていることを示す。
そこで本研究では,Mambaが3次元点群データをより効率的に処理できるようにするために,各点群を1次元点列に変換しつつ,隣接点が空間的に近接していることを保証するために,新しい一貫性トラバースシリアライズ手法を提案する。
Consistent Traverse Serialization は \textit{x} 、 \textit{y} および \textit{z} 座標の順序を置換することにより6つの変種を生成する。
さらに,異なる順序の点列の処理において,より効果的にマンバを支援するために,マンバにシーケンスの配列規則を通知する点プロンプトを導入する。
最後に,位置情報をより効率的に点雲列に注入するための空間座標マッピングに基づく位置符号化を提案する。
Point Cloud Mambaは、最先端(SOTA)のポイントベースメソッドであるPointNeXtを超え、ScanObjectNN、ModelNet40、ShapeNetPart、S3DISデータセット上で新しいSOTAパフォーマンスを達成する。
より強力なローカル特徴抽出モジュールを使用する場合、PCMはS3DIS上で79.6 mIoUを達成し、従来のSOTAモデルであるDeLAとPTv3をそれぞれ5.5 mIoUと4.9 mIoUで大幅に上回ったことに注意が必要だ。
関連論文リスト
- NIMBA: Towards Robust and Principled Processing of Point Clouds With SSMs [9.978766637766373]
データ複製を必要とせずに3次元空間構造を維持できる点雲を1次元配列に変換する手法を提案する。
本手法では位置埋め込みは必要とせず, 精度を保ちながら短いシーケンス長が可能である。
論文 参考訳（メタデータ） (2024-10-31T18:58:40Z) - Serialized Point Mamba: A Serialized Point Cloud Mamba Segmentation Model [9.718016281821471]
シリアライズされたポイントクラウドマンバモデル(シリアライズされたポイントマンバ)を開発した。
自然言語処理におけるMambaモデルの成功に触発されて,Serialized Point Cloud Mamba Modelを提案する。
Scannetでは76.8 mIoU、S3DISでは70.3 mIoUが達成された。
論文 参考訳（メタデータ） (2024-07-17T05:26:58Z) - Mamba24/8D: Enhancing Global Interaction in Point Clouds via State Space Model [37.375866491592305]
私たちは、ポイントクラウドドメインにSSMベースのアーキテクチャであるMambaを紹介します。
本稿では,線形複雑性下でのグローバルモデリング能力の強いMamba24/8Dを提案する。
Mamba24/8Dは、複数の3Dポイントクラウドセグメンテーションタスクにおける技術結果の状態を取得する。
論文 参考訳（メタデータ） (2024-06-25T10:23:53Z) - Mamba3D: Enhancing Local Features for 3D Point Cloud Analysis via State Space Model [18.30032389736101]
状態空間モデル(SSM)に基づくMambaモデルは、線形複雑性のみを持つ複数の領域でTransformerより優れている。
我々は,局所的特徴抽出を強化するために,ポイントクラウド学習に適した状態空間モデルであるMamba3Dを提案する。
論文 参考訳（メタデータ） (2024-04-23T12:20:27Z) - 3DMambaComplete: Exploring Structured State Space Model for Point Cloud Completion [19.60626235337542]
3DMambaCompleteは、新しいMambaフレームワーク上に構築されたポイントクラウド補完ネットワークである。
Mambaの選択メカニズムを使ってポイントクラウド機能をエンコードし、ハイパーポイントのセットを予測する。
変形法はハイパーポイントの2次元メッシュ表現を点雲再構成のための微細な3次元構造に変換する。
論文 参考訳（メタデータ） (2024-04-10T15:45:03Z) - PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。
従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
論文 参考訳（メタデータ） (2024-02-16T14:56:13Z) - PointPatchMix: Point Cloud Mixing with Patch Scoring [58.58535918705736]
我々は、パッチレベルでポイントクラウドを混合し、混合ポイントクラウドのコンテンツベースターゲットを生成するPointPatchMixを提案する。
パッチスコアリングモジュールは、事前学習した教師モデルから、コンテンツに基づく重要度スコアに基づいて目標を割り当てる。
Point-MAE をベースラインとして,ScanObjectNN では86.3%,ModelNet40 では94.1% の精度で,従来の手法をかなり上回りました。
論文 参考訳（メタデータ） (2023-03-12T14:49:42Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳（メタデータ） (2022-07-31T21:39:15Z) - Dual Adaptive Transformations for Weakly Supervised Point Cloud
Segmentation [78.6612285236938]
弱制御点雲分割のための新しいDATモデル(textbfDual textbfAdaptive textbfTransformations)を提案する。
我々は,大規模S3DISデータセットとScanNet-V2データセットの2つの人気バックボーンを用いたDATモデルの評価を行った。
論文 参考訳（メタデータ） (2022-07-19T05:43:14Z) - Learning Semantic Segmentation of Large-Scale Point Clouds with Random
Sampling [52.464516118826765]
我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。
我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。
我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
論文 参考訳（メタデータ） (2021-07-06T05:08:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。