論文の概要: Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models

• arxiv url: http://arxiv.org/abs/2304.07221v2
• Date: Tue, 25 Jul 2023 09:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 20:51:05.313905
• Title: Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models
• Title（参考訳）: 事前学習点クラウドモデルのためのインスタンス対応動的プロンプトチューニング
• Authors: Yaohua Zha, Jinpeng Wang, Tao Dai, Bin Chen, Zhi Wang, Shu-Tao Xia
• Abstract要約: 本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。 IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。 実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
• 参考スコア（独自算出の注目度）: 64.49254199311137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained point cloud models have found extensive applications in 3D understanding tasks like object classification and part segmentation. However, the prevailing strategy of full fine-tuning in downstream tasks leads to large per-task storage overhead for model parameters, which limits the efficiency when applying large-scale pre-trained models. Inspired by the recent success of visual prompt tuning (VPT), this paper attempts to explore prompt tuning on pre-trained point cloud models, to pursue an elegant balance between performance and parameter efficiency. We find while instance-agnostic static prompting, e.g. VPT, shows some efficacy in downstream transfer, it is vulnerable to the distribution diversity caused by various types of noises in real-world point cloud data. To conquer this limitation, we propose a novel Instance-aware Dynamic Prompt Tuning (IDPT) strategy for pre-trained point cloud models. The essence of IDPT is to develop a dynamic prompt generation module to perceive semantic prior features of each point cloud instance and generate adaptive prompt tokens to enhance the model's robustness. Notably, extensive experiments demonstrate that IDPT outperforms full fine-tuning in most tasks with a mere 7% of the trainable parameters, providing a promising solution to parameter-efficient learning for pre-trained point cloud models. Code is available at \url{https://github.com/zyh16143998882/ICCV23-IDPT}.
• Abstract（参考訳）: 事前訓練されたポイントクラウドモデルは、オブジェクトの分類や部分のセグメンテーションといった3D理解タスクに広く応用されている。 しかし、ダウンストリームタスクにおけるフル微調整の一般的な戦略は、モデルパラメータのタスク毎のストレージオーバーヘッドが大きくなり、大規模な事前学習モデルを適用する際の効率が制限される。 近年のvisual prompt tuning(vpt)の成功に触発されて,プリトレーニングされたポイントクラウドモデルのプロンプトチューニングを探求し,パフォーマンスとパラメータ効率のエレガントなバランスを追求する。 インスタンスに依存しない静的プロンプト、例えばVPTは、下流転送においていくつかの効果を示すが、実世界の点クラウドデータにおける様々な種類のノイズに起因する分布の多様性に弱い。 この制限を克服するために,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。 IDPTの本質は、各ポイントクラウドインスタンスの以前の特徴を認識し、モデルの堅牢性を高めるために適応的なプロンプトトークンを生成する動的プロンプト生成モジュールを開発することである。 特に、IDTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れており、事前訓練されたポイントクラウドモデルに対するパラメータ効率の学習に有望なソリューションを提供する。 コードは \url{https://github.com/zyh16143998882/iccv23-idpt} で入手できる。

関連論文リスト

• Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning [49.91297276176978]
  私たちは小説を提案します。 ポイントGST (Point GST) と呼ばれる点雲の効率的な微細調整法。 ポイントGSTは事前トレーニングされたモデルを凍結し、スペクトル領域のパラメータを微調整するためのトレーニング可能なポイントクラウドスペクトルアダプタ(PCSA)を導入する。 挑戦的なポイントクラウドデータセットに関する大規模な実験は、ポイントGSTが完全に微調整されたデータセットを上回るだけでなく、トレーニング可能なパラメータを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2024-10-10T17:00:04Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• Adaptive Point Transformer [88.28498667506165]
  Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。 AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2024-01-26T13:24:45Z)
• Point Cloud Pre-training with Diffusion Models [62.12279263217138]
  我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-25T08:10:05Z)
• Point-PEFT: Parameter-Efficient Fine-Tuning for 3D Pre-trained Models [46.42092771753465]
  我々は、最小限の学習可能なパラメータを持つポイントクラウド事前学習モデルに適用するための新しいフレームワークであるPoint-PEFTを紹介する。 具体的には、事前訓練された3Dモデルに対して、パラメータの大部分を凍結し、新たに追加されたPEFTモジュールを下流タスクでチューニングする。
  論文  参考訳（メタデータ） (2023-10-04T16:49:36Z)
• Test-Time Adaptation for Point Cloud Upsampling Using Meta-Learning [17.980649681325406]
  本稿では,点群アップサンプリングのモデル一般性を高めるためのテスト時間適応手法を提案する。 提案手法はメタラーニングを利用してテスト時間適応のためのネットワークパラメータを明示的に学習する。 我々のフレームワークは汎用的であり、既存のバックボーンネットワークをポイントクラウドのアップサンプリングにプラグイン・アンド・プレイで適用することができる。
  論文  参考訳（メタデータ） (2023-08-31T06:44:59Z)
• PointGPT: Auto-regressively Generative Pre-training from Point Clouds [45.488532108226565]
  我々はGPTの概念を点雲に拡張する新しいアプローチであるPointGPTを提案する。 具体的には、変圧器モデルの事前訓練に対して、ポイントクラウド自動回帰生成タスクを提案する。 提案手法は,ModelNet40データセットで94.9%,ScanObjectNNデータセットで93.4%の分類精度を達成し,他のトランスフォーマーモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-05-19T07:39:04Z)
• Visual Prompt Tuning [74.5309408185523]
  本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。 VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
  論文  参考訳（メタデータ） (2022-03-23T01:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。