論文の概要: Exploring contextual modeling with linear complexity for point cloud segmentation
- arxiv url: http://arxiv.org/abs/2410.21211v1
- Date: Mon, 28 Oct 2024 16:56:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:22:15.888461
- Title: Exploring contextual modeling with linear complexity for point cloud segmentation
- Title（参考訳）: 点雲セグメンテーションのための線形複雑度を用いた文脈モデリングの探索
- Authors: Yong Xien Chng, Xuchong Qiu, Yizeng Han, Yifan Pu, Jiewei Cao, Gao Huang,
- Abstract要約: 効率的なポイントクラウドセグメンテーションアーキテクチャの鍵となるコンポーネントを同定する。
我々は,Mambaが線形計算複雑性を特徴とし,トランスフォーマーに比べて優れたデータと推論効率を提供することを示した。
さらに、ポイントクラウドセグメンテーションのための標準のMambaをさらに強化し、その2つの重要な欠点を特定します。
- 参考スコア（独自算出の注目度）: 43.36716250540622
- License:
- Abstract: Point cloud segmentation is an important topic in 3D understanding that has traditionally has been tackled using either the CNN or Transformer. Recently, Mamba has emerged as a promising alternative, offering efficient long-range contextual modeling capabilities without the quadratic complexity associated with Transformer's attention mechanisms. However, despite Mamba's potential, early efforts have all failed to achieve better performance than the best CNN-based and Transformer-based methods. In this work, we address this challenge by identifying the key components of an effective and efficient point cloud segmentation architecture. Specifically, we show that: 1) Spatial locality and robust contextual understanding are critical for strong performance, and 2) Mamba features linear computational complexity, offering superior data and inference efficiency compared to Transformers, while still being capable of delivering strong contextual understanding. Additionally, we further enhance the standard Mamba specifically for point cloud segmentation by identifying its two key shortcomings. First, the enforced causality in the original Mamba is unsuitable for processing point clouds that have no such dependencies. Second, its unidirectional scanning strategy imposes a directional bias, hampering its ability to capture the full context of unordered point clouds in a single pass. To address these issues, we carefully remove the causal convolutions and introduce a novel Strided Bidirectional SSM to enhance the model's capability to capture spatial relationships. Our efforts culminate in the development of a novel architecture named MEEPO, which effectively integrates the strengths of CNN and Mamba. MEEPO surpasses the previous state-of-the-art method, PTv3, by up to +0.8 mIoU on multiple key benchmark datasets, while being 42.1% faster and 5.53x more memory efficient.
- Abstract（参考訳）: ポイントクラウドセグメンテーションは、伝統的にCNNまたはTransformerを使用して取り組まれてきた3D理解において重要なトピックである。
最近、Mambaは有望な代替として登場し、Transformerの注意機構に関連する2次複雑さを伴わずに、効率的な長距離コンテキストモデリング機能を提供する。
しかし、マンバの潜在的な可能性にもかかわらず、初期の取り組みは、最高のCNNベースの方法やトランスフォーマーベースの方法よりも優れたパフォーマンスを達成できなかった。
本研究では,効率的なポイントクラウドセグメンテーションアーキテクチャの鍵となるコンポーネントを特定することで,この問題に対処する。
具体的には こう示します
1)空間的局所性と強靭な文脈的理解は、強靭なパフォーマンスに不可欠であり、
2) Mambaは線形計算の複雑さを特徴とし、トランスフォーマーよりも優れたデータと推論効率を提供すると同時に、強い文脈理解を提供することができる。
さらに、ポイントクラウドセグメンテーションに特化した標準のMambaをさらに強化し、その2つの重要な欠点を特定します。
第一に、オリジナルのMambaの強制因果関係は、そのような依存関係を持たないポイントクラウドの処理には適していない。
第二に、その一方向走査戦略は方向バイアスを課し、1回のパスで無秩序な点雲の完全なコンテキストをキャプチャする能力を妨げている。
これらの問題に対処するために、我々は因果的畳み込みを慎重に取り除き、空間的関係を捕捉するモデルの能力を高めるために、新しいストライド双方向SSMを導入する。
我々は,CNN と Mamba の強みを効果的に統合した MEEPO という新しいアーキテクチャの開発に尽力した。
MEEPOは従来の最先端手法であるPTv3を、複数のベンチマークデータセットで+0.8 mIoUまで上回り、42.1%の高速化と5.53倍のメモリ効率を実現している。
関連論文リスト
- Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。
ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
論文 参考訳（メタデータ） (2024-07-08T12:28:56Z) - Mamba24/8D: Enhancing Global Interaction in Point Clouds via State Space Model [37.375866491592305]
私たちは、ポイントクラウドドメインにSSMベースのアーキテクチャであるMambaを紹介します。
本稿では,線形複雑性下でのグローバルモデリング能力の強いMamba24/8Dを提案する。
Mamba24/8Dは、複数の3Dポイントクラウドセグメンテーションタスクにおける技術結果の状態を取得する。
論文 参考訳（メタデータ） (2024-06-25T10:23:53Z) - Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。
我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。
本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
論文 参考訳（メタデータ） (2024-05-26T15:31:09Z) - PoinTramba: A Hybrid Transformer-Mamba Framework for Point Cloud Analysis [37.18701051669003]
PoinTrambaはTransformerの分析能力とMambaの卓越した計算効率を組み合わせたハイブリッドフレームワークである。
当社のアプローチでは,まずクラウドをグループに分割し,Transformerが複雑なグループ内依存関係を正確にキャプチャする。
従来のMambaアプローチとは異なり、ランダムな順序付け効果の課題に取り組むために、双方向の重要度対応順序付け(BIO)戦略を導入する。
論文 参考訳（メタデータ） (2024-05-24T11:36:26Z) - Mamba3D: Enhancing Local Features for 3D Point Cloud Analysis via State Space Model [18.30032389736101]
状態空間モデル(SSM)に基づくMambaモデルは、線形複雑性のみを持つ複数の領域でTransformerより優れている。
我々は,局所的特徴抽出を強化するために,ポイントクラウド学習に適した状態空間モデルであるMamba3Dを提案する。
論文 参考訳（メタデータ） (2024-04-23T12:20:27Z) - Point Cloud Mamba: Point Cloud Learning via State Space Model [73.7454734756626]
我々は,マンバをベースとしたポイントクラウド法が,トランスフォーマや多層パーセプトロン(MLP)に基づく従来手法よりも優れていることを示す。
特に,マルチ層パーセプトロン(MLP)を用いて,マンバをベースとした点雲法が従来手法より優れていることを示す。
Point Cloud Mambaは、最先端(SOTA)のポイントベースメソッドであるPointNeXtを超え、ScanNN、ModelNet40、ShapeNetPart、S3DISデータセット上での新たなSOTAパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-01T18:59:03Z) - PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。
従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
論文 参考訳（メタデータ） (2024-02-16T14:56:13Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳（メタデータ） (2022-07-31T21:39:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。