論文の概要: PoinTramba: A Hybrid Transformer-Mamba Framework for Point Cloud Analysis
- arxiv url: http://arxiv.org/abs/2405.15463v2
- Date: Sun, 16 Jun 2024 15:07:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 04:28:22.354370
- Title: PoinTramba: A Hybrid Transformer-Mamba Framework for Point Cloud Analysis
- Title（参考訳）: PoinTramba: ポイントクラウド分析のためのハイブリッドトランスフォーマー-マンバフレームワーク
- Authors: Zicheng Wang, Zhenghao Chen, Yiming Wu, Zhen Zhao, Luping Zhou, Dong Xu,
- Abstract要約: PoinTrambaはTransformerの分析能力とMambaの卓越した計算効率を組み合わせたハイブリッドフレームワークである。
当社のアプローチでは,まずクラウドをグループに分割し,Transformerが複雑なグループ内依存関係を正確にキャプチャする。
従来のMambaアプローチとは異なり、ランダムな順序付け効果の課題に取り組むために、双方向の重要度対応順序付け(BIO)戦略を導入する。
- 参考スコア（独自算出の注目度）: 37.18701051669003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Point cloud analysis has seen substantial advancements due to deep learning, although previous Transformer-based methods excel at modeling long-range dependencies on this task, their computational demands are substantial. Conversely, the Mamba offers greater efficiency but shows limited potential compared with Transformer-based methods. In this study, we introduce PoinTramba, a pioneering hybrid framework that synergies the analytical power of Transformer with the remarkable computational efficiency of Mamba for enhanced point cloud analysis. Specifically, our approach first segments point clouds into groups, where the Transformer meticulously captures intricate intra-group dependencies and produces group embeddings, whose inter-group relationships will be simultaneously and adeptly captured by efficient Mamba architecture, ensuring comprehensive analysis. Unlike previous Mamba approaches, we introduce a bi-directional importance-aware ordering (BIO) strategy to tackle the challenges of random ordering effects. This innovative strategy intelligently reorders group embeddings based on their calculated importance scores, significantly enhancing Mamba's performance and optimizing the overall analytical process. Our framework achieves a superior balance between computational efficiency and analytical performance by seamlessly integrating these advanced techniques, marking a substantial leap forward in point cloud analysis. Extensive experiments on datasets such as ScanObjectNN, ModelNet40, and ShapeNetPart demonstrate the effectiveness of our approach, establishing a new state-of-the-art analysis benchmark on point cloud recognition. For the first time, this paradigm leverages the combined strengths of both Transformer and Mamba architectures, facilitating a new standard in the field. The code is available at https://github.com/xiaoyao3302/PoinTramba.
- Abstract（参考訳）: ポイントクラウド分析では、ディープラーニングによる大幅な進歩が見られるが、従来のTransformerベースの手法では、このタスクに対する長距離依存のモデリングが優れているが、その計算要求は相当に大きい。
逆に、Mambaはより効率が良いが、Transformerベースの方法に比べてポテンシャルは限られている。
本研究では,PinTrambaについて紹介する。PoinTrambaはTransformerの分析能力とMambaの卓越した計算効率を相乗化して,点群解析を高速化するハイブリッドフレームワークである。
具体的には、まずクラウドをグループに分割し、そこでTransformerは複雑なグループ間の依存関係を正確にキャプチャし、グループ間関係を効率の良いMambaアーキテクチャによって同時に捕捉し、包括的な解析を保証する。
従来のMambaアプローチとは異なり、ランダムな順序付け効果の課題に取り組むために、双方向の重要度対応順序付け(BIO)戦略を導入する。
この革新的な戦略は、計算された重要度スコアに基づいてグループ埋め込みをインテリジェントに並べ替え、マンバのパフォーマンスを著しく向上させ、全体的な分析過程を最適化する。
この手法をシームレスに統合することにより,計算効率と解析性能のバランスを向上し,ポイントクラウド解析における飛躍的な進歩を図っている。
ScanObjectNN、ModelNet40、ShapeNetPartなどのデータセットに対する大規模な実験は、我々のアプローチの有効性を実証し、ポイントクラウド認識に関する新しい最先端分析ベンチマークを確立した。
このパラダイムは、TransformerアーキテクチャとMambaアーキテクチャの両方の長所を初めて活用し、この分野における新しい標準の推進に役立てている。
コードはhttps://github.com/xiaoyao3302/PoinTrambaで入手できる。
関連論文リスト
- Exploring contextual modeling with linear complexity for point cloud segmentation [43.36716250540622]
効率的なポイントクラウドセグメンテーションアーキテクチャの鍵となるコンポーネントを同定する。
我々は,Mambaが線形計算複雑性を特徴とし,トランスフォーマーに比べて優れたデータと推論効率を提供することを示した。
さらに、ポイントクラウドセグメンテーションのための標準のMambaをさらに強化し、その2つの重要な欠点を特定します。
論文 参考訳（メタデータ） (2024-10-28T16:56:30Z) - MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining [23.37555991996508]
本稿では,Masked Autoregressive Pretraining (MAP) を提案する。
MAPで事前学習したMambaアーキテクチャとハイブリッドMamba-Transformerビジョンバックボーンネットワークが,他の事前学習戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-01T17:05:08Z) - ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
本研究では,長い文脈の理解能力を高めるReMambaを提案する。
ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
論文 参考訳（メタデータ） (2024-08-28T02:47:27Z) - Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - PointABM:Integrating Bidirectional State Space Model with Multi-Head Self-Attention for Point Cloud Analysis [8.500020888201231]
状態空間モデル(SSM)に基づくMambaは、線形複雑性と分類における大きな成功により、3Dポイントクラウド解析においてその優位性を提供する。
Transformerは、ポイントクラウド分析の最も顕著で成功したアーキテクチャの1つとして登場した。
本稿では,3Dポイントクラウド解析の性能向上のために,ローカル機能を強化するために,MambaアーキテクチャとTransformerアーキテクチャを統合したハイブリッドモデルであるPointABMを提案する。
論文 参考訳（メタデータ） (2024-06-10T07:24:22Z) - PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。
従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
論文 参考訳（メタデータ） (2024-02-16T14:56:13Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。