論文の概要: Mantis: Mamba-native Tuning is Efficient for 3D Point Cloud Foundation Models

• arxiv url: http://arxiv.org/abs/2605.03438v1
• Date: Tue, 05 May 2026 07:19:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.815238
• Title: Mantis: Mamba-native Tuning is Efficient for 3D Point Cloud Foundation Models
• Title（参考訳）: Mantis: Mambaネイティブチューニングは3Dポイントクラウドファウンデーションモデルに有効
• Authors: Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian,
• Abstract要約: 3Dポイントクラウド基盤モデル(PFM)は、さまざまな下流タスク間で強力な転送可能性を示している。 既存のPEFTアプローチは主にトランスフォーマーベースのバックボーン用に設計されている。 3次元PFMのための最初のMambaネイティブPEFTフレームワークであるMantisを提案する。
• 参考スコア（独自算出の注目度）: 25.87142945118221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained 3D point cloud foundation models (PFMs) have demonstrated strong transferability across diverse downstream tasks. However, full fine-tuning these models is computationally expensive and storage-intensive. Parameter-efficient fine-tuning (PEFT) offers a promising alternative, but existing PEFT approaches are primarily designed for Transformer-based backbones and rely on token-level prompting or feature transformation. Mamba-based backbones introduce a granularity mismatch between token-level adaptation and state-level sequence dynamics. Consequently, straightforward transfer of existing PEFT approaches to frozen Mamba backbones leads to substantial accuracy degradation and unstable optimization. To address this issue, we propose Mantis, the first Mamba-native PEFT framework for 3D PFMs. Specifically, a State-Aware Adapter (SAA) is introduced to inject lightweight task-conditioned control signals into selective state-space updates, enabling state-level adaptation while keeping the pre-trained backbone frozen. Moreover, different valid point cloud serializations are regularized by Dual-Serialization Consistency Distillation (DSCD), thereby reducing serialization-induced instability. Extensive experiments across multiple benchmarks demonstrate that our Mantis achieves competitive performance with only about 5% trainable parameters. Our code is available at https://github.com/gzhhhhhhh/Mantis.
• Abstract（参考訳）: 事前訓練された3Dポイントクラウド基盤モデル(PFM)は、さまざまな下流タスク間で強力な転送可能性を示している。 しかし、これらのモデルを完全に微調整することは、計算コストが高く、ストレージ集約である。 パラメータ効率の良い微調整(PEFT)は有望な代替手段であるが、既存のPEFTアプローチは主にトランスフォーマーベースのバックボーン用に設計されており、トークンレベルのプロンプトや特徴変換に依存している。 マンバベースのバックボーンはトークンレベルの適応と状態レベルのシーケンスダイナミクスの粒度のミスマッチを導入する。 その結果、凍ったマンバのバックボーンへの既存のPEFTアプローチの直接転送は、かなりの精度の劣化と不安定な最適化をもたらす。 この問題に対処するため、3D PFMのための最初のMambaネイティブPEFTフレームワークであるMantisを提案する。 具体的には、SAA(State-Aware Adapter)を導入して、軽量なタスク条件制御信号を選択された状態空間更新に注入し、事前訓練されたバックボーンを凍結させながら状態レベルの適応を可能にする。 さらに、Dual-Serialization Consistency Distillation (DSCD)により、異なる有効点雲シリアライゼーションを正規化することにより、シリアライゼーションによる不安定性を低減できる。 複数のベンチマークにまたがる大規模な実験により、Mantisはトレーニング可能なパラメータを5%程度しか持たない競争的なパフォーマンスを実現しています。 私たちのコードはhttps://github.com/gzhhhhhhhhhh/Mantis.comで公開されています。

関連論文リスト

• ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning [14.501555924276824]
  低ランク適応(LoRA)は、個々の重みに直接独立した低ランク摂動を挿入することで適応する。 そこで我々は,深度共有シャドウモジュールを用いて層レベルの改善を行う,集中型PEFTフレームワークであるShadowPEFTを提案する。
  論文  参考訳（メタデータ） (2026-04-21T09:17:35Z)
• An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models [22.63554774942836]
  本稿では,完全かつパラメータ効率の良いファインチューニングのギャップを埋めるために,MCFT(Momentum-Consistency Fine-Tuning)を提案する。 MCFTは、運動量ベースの一貫性制約を強制しながら、事前訓練されたエンコーダの一部を選択的に微調整する。 我々はMCFTを2つの変種で拡張する: 豊富なラベル付きデータを活用する半教師付きフレームワークと、計算効率を向上させるプルーニングベースの変種。
  論文  参考訳（メタデータ） (2026-03-24T21:28:37Z)
• MT-PCR: A Hybrid Mamba-Transformer with Spatial Serialization for Hierarchical Point Cloud Registration [15.482436877752331]
  我々は,MambaモジュールとTransformerモジュールを統合した最初のポイントクラウド登録フレームワークであるMT-PCRを提案する。 MT-PCRはトランスフォーマー法および同時処理法よりも精度と効率が優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-16T07:49:43Z)
• PMA: Towards Parameter-Efficient Point Cloud Understanding via Point Mamba Adapter [54.33433051500349]
  本稿では,事前学習モデルのすべての層から順序付き特徴系列を構成するPMAを提案する。 また、異なる層にまたがって共有される幾何学制約ゲートプロンプトジェネレータ(G2PG)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T09:27:16Z)
• Token Adaptation via Side Graph Convolution for Efficient Fine-tuning of 3D Point Cloud Transformers [1.19658449368018]
  本稿では,近接グラフ(STAG)上でのサイドトークン適応(Side Token Adaptation)と呼ばれる新しいPEFTアルゴリズムを提案する。 STAGは、下流タスクにトークンを適用するために、凍結バックボーントランスフォーマーと並行して動作するグラフ畳み込みサイドネットワークを使用している。 また、さまざまな公開3Dポイントクラウドデータセットからなる新しいベンチマークであるPoint Cloud Classification 13 (PCC13)も紹介する。
  論文  参考訳（メタデータ） (2025-02-19T22:58:56Z)
• Adaptive Point Transformer [88.28498667506165]
  Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。 AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2024-01-26T13:24:45Z)
• OpenDelta: A Plug-and-play Library for Parameter-efficient Adaptation of Pre-trained Models [81.7855202178564]
  我々は,様々なデルタチューニング手法のプラグアンドプレイ実装を提供することで,制限を克服するオープンソースライブラリであるOpenDeltaを提案する。 我々の新しい技術は、バックボーン PTM のコードを変更する必要をなくし、OpenDelta を異なる新しい PTM と互換性を持たせる。
  論文  参考訳（メタデータ） (2023-07-05T16:30:14Z)
• Consolidator: Mergeable Adapter with Grouped Connections for Visual Adaptation [53.835365470800916]
  視覚変換器の知識を効率よく効果的に伝達する方法を示す。 調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。 我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
  論文  参考訳（メタデータ） (2023-04-30T23:59:02Z)
• PVP: Pre-trained Visual Parameter-Efficient Tuning [29.05396521860764]
  大規模事前学習型トランスフォーマーは、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。 計算とストレージのコストが高いため、これらのモデルを下流タスクのために完全に微調整することは依然として非常に困難である。 事前学習型ビジュアルを提案する。 効率的な(PVP)チューニングフレームワーク - 最初にパラメータ効率のチューニングモジュールを事前トレーニングし、次に事前トレーニングされたモジュールを活用する。
  論文  参考訳（メタデータ） (2023-04-26T15:55:29Z)
• Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
  本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。 IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。 実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
  論文  参考訳（メタデータ） (2023-04-14T16:03:09Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。