論文の概要: CAPrompt: Cyclic Prompt Aggregation for Pre-Trained Model Based Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2412.08929v2
• Date: Mon, 16 Dec 2024 07:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:01.016605
• Title: CAPrompt: Cyclic Prompt Aggregation for Pre-Trained Model Based Class Incremental Learning
• Title（参考訳）: CAPrompt: 事前学習モデルに基づくクラスインクリメンタルラーニングのための周期的プロンプトアグリゲーション
• Authors: Qiwei Li, Jiahuan Zhou,
• Abstract要約: 本稿では,タスクID予測への依存性を排除するために,新しいCAPromptアグリゲーション法を提案する。 凹凸条件下では、集約プロンプトは単一のタスク固有のプロンプトを選択するよりも低いエラーを達成する。 提案したCAPromptは最先端手法を2%-3%上回る性能を示した。
• 参考スコア（独自算出の注目度）: 12.249938312431993
• License:
• Abstract: Recently, prompt tuning methods for pre-trained models have demonstrated promising performance in Class Incremental Learning (CIL). These methods typically involve learning task-specific prompts and predicting the task ID to select the appropriate prompts for inference. However, inaccurate task ID predictions can cause severe inconsistencies between the prompts used during training and inference, leading to knowledge forgetting and performance degradation. Additionally, existing prompt tuning methods rely solely on the pre-trained model to predict task IDs, without fully leveraging the knowledge embedded in the learned prompt parameters, resulting in inferior prediction performance. To address these issues, we propose a novel Cyclic Prompt Aggregation (CAPrompt) method that eliminates the dependency on task ID prediction by cyclically aggregating the knowledge from different prompts. Specifically, rather than predicting task IDs, we introduce an innovative prompt aggregation strategy during both training and inference to overcome prompt inconsistency by utilizing a weighted sum of different prompts. Thorough theoretical analysis demonstrates that under concave conditions, the aggregated prompt achieves lower error compared to selecting a single task-specific prompt. Consequently, we incorporate a concave constraint and a linear constraint to guide prompt learning, ensuring compliance with the concave condition requirement. Furthermore, to fully exploit the prompts and achieve more accurate prompt weights, we develop a cyclic weight prediction strategy. This strategy begins with equal weights for each task and automatically adjusts them to more appropriate values in a cyclical manner. Experiments on various datasets demonstrate that our proposed CAPrompt outperforms state-of-the-art methods by 2%-3%. Our code is available at https://github.com/zhoujiahuan1991/AAAI2025-CAPrompt.
• Abstract（参考訳）: 近年,CIL(Class Incremental Learning)において,事前学習モデルに対する即時チューニング手法が有望な性能を示した。 これらの手法は通常、タスク固有のプロンプトを学習し、推論のための適切なプロンプトを選択するためにタスクIDを予測する。 しかし、不正確なタスクID予測は、トレーニング中に使用するプロンプトと推論の間に深刻な矛盾を引き起こし、知識の忘れと性能劣化を引き起こす。 さらに、既存のプロンプトチューニング手法は、学習したプロンプトパラメータに埋め込まれた知識を完全に活用することなく、タスクIDを予測するために事前訓練されたモデルにのみ依存し、結果として予測性能が低下する。 これらの問題に対処するため,我々は,知識を異なるプロンプトから循環的に集約することでタスクID予測への依存を解消する新しいCAPrompt法を提案する。 具体的には、タスクIDを予測する代わりに、異なるプロンプトの重み付け和を利用して、即時不整合を克服するために、トレーニングと推論の間に革新的なプロンプトアグリゲーション戦略を導入する。 粗い理論的解析は、凹凸条件下では、集約されたプロンプトは単一のタスク固有のプロンプトを選択するよりも低いエラーを達成することを示した。 その結果、コンケーブ制約と線形制約を組み込んで、素早い学習を誘導し、コンケーブ条件の遵守を確実にする。 さらに,プロンプトを完全に活用し,より正確なプロンプトウェイトを達成するために,循環重み予測戦略を開発する。 この戦略は各タスクに対して等しい重みから始まり、循環的により適切な値に自動的に調整する。 各種データセットの実験により,提案したCAPromptは最先端の手法よりも2%-3%優れていた。 私たちのコードはhttps://github.com/zhoujiahuan 1991/AAAI2025-CAPrompt.comで公開されています。

関連論文リスト

• Vector Quantization Prompting for Continual Learning [23.26682439914273]
  連続学習は、1つのモデルを一連のタスクでトレーニングする際に破滅的な忘れを克服する必要がある。 最近のトップパフォーマンスアプローチは、学習可能なパラメータのセットを使ってタスク知識をエンコードするプロンプトベースの手法である。 本稿では,ベクトル量子化を離散的なプロンプトのエンドツーエンドトレーニングに組み込む,プロンプトに基づく連続学習手法であるVQ-Promptを提案する。
  論文  参考訳（メタデータ） (2024-10-27T13:43:53Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Q-Tuning: Queue-based Prompt Tuning for Lifelong Few-shot Language Learning [21.261637357094035]
  textbfQ-tuningは、トレーニング済みの言語モデルの生涯学習を可能にする。 新しいタスクを学ぶとき、Q-tuningはタスク固有のプロンプトをトレーニングし、古いタスクからのプロンプトからなるプロンプトキューに追加する。
  論文  参考訳（メタデータ） (2024-04-22T22:04:16Z)
• Consistent Prompting for Rehearsal-Free Continual Learning [5.166083532861163]
  継続的な学習は、古い知識を忘れずに、モデルが絶えず変化する環境やデータストリームに自律的に適応することを可能にする。 既存のプロンプトベースの手法は、トレーニングとテストの間に不整合であり、その効果を制限している。 より整合性のあるトレーニングとテストのための新しいプロンプトベースの手法であるConsistent Prompting(CPrompt)を提案する。
  論文  参考訳（メタデータ） (2024-03-13T14:24:09Z)
• OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning [10.299813904573695]
  分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。 単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2024-02-06T16:31:11Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。