論文の概要: PointLAMA: Latent Attention meets Mamba for Efficient Point Cloud Pretraining

• arxiv url: http://arxiv.org/abs/2507.17296v1
• Date: Wed, 23 Jul 2025 07:57:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.910922
• Title: PointLAMA: Latent Attention meets Mamba for Efficient Point Cloud Pretraining
• Title（参考訳）: PointLAMA: 効率的なポイントクラウド事前トレーニングのために、潜入注意がMambaに会う
• Authors: Xuanyu Lin, Xiaona Zeng, Xianwei Zheng, Xutao Li,
• Abstract要約: Mambaは最近、ポイントクラウドモデリングのバックボーンモデルとして広く注目を集めており、線形複雑性を伴う効率的なグローバルシーケンスモデリングを可能にするステートスペースアーキテクチャを活用している。 我々は,タスク対応のポイントクラウドシリアライゼーションを組み込んだポイントクラウド事前学習フレームワークであるtextbfPointLAMA,Latent AttentionとMambaブロックを統合したハイブリッドエンコーダ,Mambaバックボーン上に構築された条件拡散機構を提案する。
• 参考スコア（独自算出の注目度）: 8.906813021681135
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mamba has recently gained widespread attention as a backbone model for point cloud modeling, leveraging a state-space architecture that enables efficient global sequence modeling with linear complexity. However, its lack of local inductive bias limits its capacity to capture fine-grained geometric structures in 3D data. To address this limitation, we propose \textbf{PointLAMA}, a point cloud pretraining framework that combines task-aware point cloud serialization, a hybrid encoder with integrated Latent Attention and Mamba blocks, and a conditional diffusion mechanism built upon the Mamba backbone. Specifically, the task-aware point cloud serialization employs Hilbert/Trans-Hilbert space-filling curves and axis-wise sorting to structurally align point tokens for classification and segmentation tasks, respectively. Our lightweight Latent Attention block features a Point-wise Multi-head Latent Attention (PMLA) module, which is specifically designed to align with the Mamba architecture by leveraging the shared latent space characteristics of PMLA and Mamba. This enables enhanced local context modeling while preserving overall efficiency. To further enhance representation learning, we incorporate a conditional diffusion mechanism during pretraining, which denoises perturbed feature sequences without relying on explicit point-wise reconstruction. Experimental results demonstrate that PointLAMA achieves competitive performance on multiple benchmark datasets with minimal parameter count and FLOPs, validating its effectiveness for efficient point cloud pretraining.
• Abstract（参考訳）: Mambaは最近、ポイントクラウドモデリングのバックボーンモデルとして広く注目を集めており、線形複雑性を伴う効率的なグローバルシーケンスモデリングを可能にするステートスペースアーキテクチャを活用している。 しかし、局所帰納バイアスの欠如は、3Dデータ中の微細な幾何学構造を捉える能力を制限する。 この制限に対処するために、タスク対応のポイントクラウドシリアライゼーションを組み合わせたポイントクラウド事前学習フレームワークである‘textbf{PointLAMA}、ラテントアテンションとマンバブロックを統合したハイブリッドエンコーダ、およびマンババックボーン上に構築された条件拡散機構を提案する。 具体的には、タスク対応のポイントクラウドシリアライゼーションでは、ヒルベルト/トランス・ヒルベルト空間充填曲線と軸方向のソートを用いて、それぞれ分類タスクと分割タスクのポイントトークンを構造的に整列させる。 我々の軽量遅延注意ブロックは,PMLA と Mamba の共有遅延空間特性を活用することで,Mamba アーキテクチャに適合するように特別に設計された,ポイントワイドなマルチヘッド遅延注意(PMLA)モジュールを備えている。 これにより、全体の効率を保ちながら、局所的なコンテキストモデリングを拡張できる。 表現学習をさらに強化するため,事前学習中に条件拡散機構を組み込んだ。 実験により、PointLAMAはパラメータカウントとFLOPを最小化した複数のベンチマークデータセット上で競合性能を達成し、効率的なポイントクラウド事前学習の有効性を検証した。

関連論文リスト

• PMA: Towards Parameter-Efficient Point Cloud Understanding via Point Mamba Adapter [54.33433051500349]
  本稿では,事前学習モデルのすべての層から順序付き特徴系列を構成するPMAを提案する。 また、異なる層にまたがって共有される幾何学制約ゲートプロンプトジェネレータ(G2PG)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T09:27:16Z)
• Serialized Point Mamba: A Serialized Point Cloud Mamba Segmentation Model [9.718016281821471]
  シリアライズされたポイントクラウドマンバモデル(シリアライズされたポイントマンバ)を開発した。 自然言語処理におけるMambaモデルの成功に触発されて,Serialized Point Cloud Mamba Modelを提案する。 Scannetでは76.8 mIoU、S3DISでは70.3 mIoUが達成された。
  論文  参考訳（メタデータ） (2024-07-17T05:26:58Z)
• Point Mamba: A Novel Point Cloud Backbone Based on State Space Model with Octree-Based Ordering Strategy [15.032048930130614]
  我々は、因果性を考慮した注文機構を備えた、新しいSSMベースのポイントクラウド処理バックボーン、Point Mambaを提案する。 本手法は, 変圧器をベースとした変圧器と比較して, 93.4%の精度と75.7mIOUの精度を実現している。 提案手法は,SSMが点雲理解において一般的なバックボーンとして機能する可能性を示す。
  論文  参考訳（メタデータ） (2024-03-11T07:07:39Z)
• Point Cloud Mamba: Point Cloud Learning via State Space Model [73.7454734756626]
  我々は,マンバをベースとしたポイントクラウド法が,トランスフォーマや多層パーセプトロン(MLP)に基づく従来手法よりも優れていることを示す。 特に,マルチ層パーセプトロン(MLP)を用いて,マンバをベースとした点雲法が従来手法より優れていることを示す。 Point Cloud Mambaは、最先端(SOTA)のポイントベースメソッドであるPointNeXtを超え、ScanNN、ModelNet40、ShapeNetPart、S3DISデータセット上での新たなSOTAパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-01T18:59:03Z)
• PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
  我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。 従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-16T14:56:13Z)
• Controllable Mesh Generation Through Sparse Latent Point Diffusion Models [105.83595545314334]
  メッシュ生成のための新しいスパース潜在点拡散モデルを設計する。 私たちの重要な洞察は、ポイントクラウドをメッシュの中間表現と見なし、代わりにポイントクラウドの分布をモデル化することです。 提案したスパース潜在点拡散モデルにより,生成品質と制御性において優れた性能が得られる。
  論文  参考訳（メタデータ） (2023-03-14T14:25:29Z)
• PointPatchMix: Point Cloud Mixing with Patch Scoring [58.58535918705736]
  我々は、パッチレベルでポイントクラウドを混合し、混合ポイントクラウドのコンテンツベースターゲットを生成するPointPatchMixを提案する。 パッチスコアリングモジュールは、事前学習した教師モデルから、コンテンツに基づく重要度スコアに基づいて目標を割り当てる。 Point-MAE をベースラインとして,ScanObjectNN では86.3%,ModelNet40 では94.1% の精度で,従来の手法をかなり上回りました。
  論文  参考訳（メタデータ） (2023-03-12T14:49:42Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。