論文の概要: LCM: Locally Constrained Compact Point Cloud Model for Masked Point Modeling

• arxiv url: http://arxiv.org/abs/2405.17149v2
• Date: Mon, 28 Oct 2024 07:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:02.271904
• Title: LCM: Locally Constrained Compact Point Cloud Model for Masked Point Modeling
• Title（参考訳）: LCM:Masked Point Modelingのための局所的に制約されたコンパクトポイントクラウドモデル
• Authors: Yaohua Zha, Naiqi Li, Yanzi Wang, Tao Dai, Hang Guo, Bin Chen, Zhi Wang, Zhihao Ouyang, Shu-Tao Xia,
• Abstract要約: 本稿では,局所的に制約されたコンパクト・エンコーダと局所的に制約されたMambaベースのデコーダからなる,局所的に制約されたコンパクト・ポイント・クラウド・モデルを提案する。 エンコーダは、パフォーマンスと効率のエレガントなバランスを達成するために、自己アテンションをローカルアグリゲーション層に置き換えます。 このデコーダは、高情報密度の未処理パッチからの点雲幾何学情報の知覚を最大化しつつ、線形複雑性を保証する。
• 参考スコア（独自算出の注目度）: 47.94285833315427
• License:
• Abstract: The pre-trained point cloud model based on Masked Point Modeling (MPM) has exhibited substantial improvements across various tasks. However, these models heavily rely on the Transformer, leading to quadratic complexity and limited decoder, hindering their practice application. To address this limitation, we first conduct a comprehensive analysis of existing Transformer-based MPM, emphasizing the idea that redundancy reduction is crucial for point cloud analysis. To this end, we propose a Locally constrained Compact point cloud Model (LCM) consisting of a locally constrained compact encoder and a locally constrained Mamba-based decoder. Our encoder replaces self-attention with our local aggregation layers to achieve an elegant balance between performance and efficiency. Considering the varying information density between masked and unmasked patches in the decoder inputs of MPM, we introduce a locally constrained Mamba-based decoder. This decoder ensures linear complexity while maximizing the perception of point cloud geometry information from unmasked patches with higher information density. Extensive experimental results show that our compact model significantly surpasses existing Transformer-based models in both performance and efficiency, especially our LCM-based Point-MAE model, compared to the Transformer-based model, achieved an improvement of 1.84%, 0.67%, and 0.60% in average accuracy on the three variants of ScanObjectNN while reducing parameters by 88% and computation by 73%. Code is available at https://github.com/zyh16143998882/LCM.
• Abstract（参考訳）: Masked Point Modeling (MPM)に基づく事前訓練されたポイントクラウドモデルは、様々なタスクで大幅に改善されている。 しかし、これらのモデルはTransformerに大きく依存しており、二次的な複雑さと限定的なデコーダをもたらし、その実践を妨げている。 この制限に対処するために、我々はまず既存のTransformerベースのMPMを包括的に分析し、点雲解析に冗長性低減が不可欠であるという考えを強調した。 そこで我々は,局所的に制約されたコンパクトエンコーダと局所的に制約されたMambaベースのデコーダからなる,局所的に制約されたコンパクトポイントクラウドモデル(LCM)を提案する。 エンコーダは、パフォーマンスと効率のエレガントなバランスを達成するために、自己アテンションをローカルアグリゲーション層に置き換えます。 MPMのデコーダ入力におけるマスクされたパッチとアンマスクされたパッチ間の情報密度の変化を考慮すると、局所的に制約されたMambaベースのデコーダを導入する。 このデコーダは、高情報密度の未処理パッチからの点雲幾何学情報の知覚を最大化しつつ、線形複雑性を保証する。 大規模な実験結果から,我々のコンパクトモデルが既存のトランスフォーマーモデルよりも性能と効率の両面ではるかに優れており,特にLCMベースのポイント-MAEモデルでは,ScanObjectNNの3変種の平均精度が1.84%,0.67%,0.60%向上し,パラメータを88%削減し,計算精度は73%向上した。 コードはhttps://github.com/zyh16143998882/LCMで入手できる。

関連論文リスト

• PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture [46.266960248570086]
  本研究は,効率的な特徴集約のための複雑局所的注意機構を導入することで,自己注意機構の二次的複雑さに取り組む。 また,各チャネルの注目重量分布を適応的に調整するパラメータフリーチャネル温度適応機構を導入する。 我々は,PointMTが性能と精度の最適なバランスを維持しつつ,最先端手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-10T10:16:03Z)
• Pre-training Point Cloud Compact Model with Partial-aware Reconstruction [51.403810709250024]
  本稿では, 部分認識型textbfReconstruction を用いた, Point-CPR という事前学習型クラウド圧縮モデルを提案する。 我々のモデルは様々なタスクにおいて強い性能を示し、特にパラメータの2%しか持たない主要なMPMベースモデルであるPointGPT-Bを上回っている。
  論文  参考訳（メタデータ） (2024-07-12T15:18:14Z)
• Mamba3D: Enhancing Local Features for 3D Point Cloud Analysis via State Space Model [18.30032389736101]
  状態空間モデル(SSM)に基づくMambaモデルは、線形複雑性のみを持つ複数の領域でTransformerより優れている。 我々は,局所的特徴抽出を強化するために,ポイントクラウド学習に適した状態空間モデルであるMamba3Dを提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:20:27Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• Point Cloud Mamba: Point Cloud Learning via State Space Model [73.7454734756626]
  我々は,マンバをベースとしたポイントクラウド法が,トランスフォーマや多層パーセプトロン(MLP)に基づく従来手法よりも優れていることを示す。 特に,マルチ層パーセプトロン(MLP)を用いて,マンバをベースとした点雲法が従来手法より優れていることを示す。 Point Cloud Mambaは、最先端(SOTA)のポイントベースメソッドであるPointNeXtを超え、ScanNN、ModelNet40、ShapeNetPart、S3DISデータセット上での新たなSOTAパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-01T18:59:03Z)
• Towards Compact 3D Representations via Point Feature Enhancement Masked Autoencoders [52.66195794216989]
  本稿では,コンパクトな3D表現を学習するために,ポイント特徴強調マスク付きオートエンコーダ(Point-FEMAE)を提案する。 Point-FEMAEはグローバルブランチとローカルブランチで構成され、潜在意味的特徴をキャプチャする。 本手法は, クロスモーダル方式と比較して, 事前学習効率を著しく向上させる。
  論文  参考訳（メタデータ） (2023-12-17T14:17:05Z)
• MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
  MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。 2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。 また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• CD-CTFM: A Lightweight CNN-Transformer Network for Remote Sensing Cloud Detection Fusing Multiscale Features [5.600932842087808]
  この問題を解決するために,CD-CTFMという軽量CNN-Transformerネットワークを提案する。 CD-CTFMはエンコーダ・デコーダアーキテクチャに基づいており、アテンション機構を組み込んでいる。 提案モデルは,38-CloudとMODISの2つのクラウドデータセットで評価される。
  論文  参考訳（メタデータ） (2023-06-12T15:37:18Z)
• Masked Autoencoders for Self-Supervised Learning on Automotive Point Clouds [2.8544513613730205]
  Maskedオートエンコーディングは、テキスト、画像、そして最近ではポイントクラウドのためのTransformerモデルの事前トレーニングパラダイムとして成功している。 本稿では,ボクセル表現のためのマスク付き自動符号化事前学習方式であるVoxelMAEを提案する。 提案手法は,難解なnuScenesデータセット上で1.75mAPポイントと1.05NDSで3D OD性能を向上する。
  論文  参考訳（メタデータ） (2022-07-01T16:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。