論文の概要: Parameter-efficient Prompt Learning for 3D Point Cloud Understanding

• arxiv url: http://arxiv.org/abs/2402.15823v1
• Date: Sat, 24 Feb 2024 14:20:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 16:39:30.256953
• Title: Parameter-efficient Prompt Learning for 3D Point Cloud Understanding
• Title（参考訳）: 3dポイントクラウド理解のためのパラメータ効率の高いプロンプト学習
• Authors: Hongyu Sun and Yongcai Wang and Wang Chen and Haoran Deng and Deying Li
• Abstract要約: 本稿では,3次元点雲理解のための大規模マルチモーダルモデルに適用するためのパラメータ効率のよいプロンプトチューニング手法を提案する。 PromptLearnerモジュールは、手作りのプロンプトを学習可能なコンテキストに置き換えるように設計されている。 軽量のPointAdapterモジュールは、3Dポイントクラウド理解のためのプロンプトチューニングを強化するために、ターゲットタスクの近くに配置される。
• 参考スコア（独自算出の注目度）: 10.23165979353247
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents a parameter-efficient prompt tuning method, named PPT, to adapt a large multi-modal model for 3D point cloud understanding. Existing strategies are quite expensive in computation and storage, and depend on time-consuming prompt engineering. We address the problems from three aspects. Firstly, a PromptLearner module is devised to replace hand-crafted prompts with learnable contexts to automate the prompt tuning process. Then, we lock the pre-trained backbone instead of adopting the full fine-tuning paradigm to substantially improve the parameter efficiency. Finally, a lightweight PointAdapter module is arranged near target tasks to enhance prompt tuning for 3D point cloud understanding. Comprehensive experiments are conducted to demonstrate the superior parameter and data efficiency of the proposed method.Meanwhile, we obtain new records on 4 public datasets and multiple 3D tasks, i.e., point cloud recognition, few-shot learning, and part segmentation. The implementation is available at https://github.com/auniquesun/PPT.
• Abstract（参考訳）: 本稿では,3次元点雲理解のための大規模マルチモーダルモデルを適用するために,パラメータ効率のよいプロンプトチューニング手法 PPT を提案する。 既存の戦略は計算とストレージに非常に費用がかかり、時間を要するプロンプトエンジニアリングに依存する。 我々はこの問題を3つの側面から解決する。 まず、PromptLearnerモジュールは手作りのプロンプトを学習可能なコンテキストに置き換えて、プロンプトチューニングプロセスを自動化するように設計されている。 そして、事前学習したバックボーンを完全な微調整パラダイムを採用する代わりにロックし、パラメータ効率を大幅に改善します。 最後に、軽量なpointadapterモジュールがターゲットタスクの近くに配置され、3dポイントクラウド理解のためのプロンプトチューニングが強化される。 提案手法の優れたパラメータとデータ効率を示すため, 総合的な実験を行い, 4つの公開データセットと複数の3dタスク,すなわち, ポイントクラウド認識, マイナショット学習, 部分セグメンテーションに関する新しい記録を得た。 実装はhttps://github.com/auniquesun/PPTで公開されている。

関連論文リスト

• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained Models for Spatiotemporal Modeling [32.603558214472265]
  本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。 APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。 提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:41Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• Point-PEFT: Parameter-Efficient Fine-Tuning for 3D Pre-trained Models [46.42092771753465]
  我々は、最小限の学習可能なパラメータを持つポイントクラウド事前学習モデルに適用するための新しいフレームワークであるPoint-PEFTを紹介する。 具体的には、事前訓練された3Dモデルに対して、パラメータの大部分を凍結し、新たに追加されたPEFTモジュールを下流タスクでチューニングする。
  論文  参考訳（メタデータ） (2023-10-04T16:49:36Z)
• Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
  本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。 IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。 実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
  論文  参考訳（メタデータ） (2023-04-14T16:03:09Z)
• SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning [28.29889045842277]
  マルチタスクによる学習は,さまざまなタスクセットを一度に一般化する上で有効だ。 マルチタスク学習のための半パラメトリックなプロンプトチューニング手法であるSPTを提案する。
  論文  参考訳（メタデータ） (2022-12-21T11:18:09Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。