論文の概要: When Prompt-based Incremental Learning Does Not Meet Strong Pretraining

• arxiv url: http://arxiv.org/abs/2308.10445v1
• Date: Mon, 21 Aug 2023 03:33:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 15:19:35.004457
• Title: When Prompt-based Incremental Learning Does Not Meet Strong Pretraining
• Title（参考訳）: プロンプトベースインクリメンタル学習が強い事前学習を満たさない場合
• Authors: Yu-Ming Tang, Yi-Xing Peng, Wei-Shi Zheng
• Abstract要約: 本研究では,学習可能な適応型プロンプトジェネレータ(APG)を開発した。 鍵となるのは、プロンプト検索と学習プロセスを学習可能なプロンプトジェネレータに統一することである。 本手法は, 事前学習を伴わずに, 先進的な漸進的学習法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 36.0889029038102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incremental learning aims to overcome catastrophic forgetting when learning deep networks from sequential tasks. With impressive learning efficiency and performance, prompt-based methods adopt a fixed backbone to sequential tasks by learning task-specific prompts. However, existing prompt-based methods heavily rely on strong pretraining (typically trained on ImageNet-21k), and we find that their models could be trapped if the potential gap between the pretraining task and unknown future tasks is large. In this work, we develop a learnable Adaptive Prompt Generator (APG). The key is to unify the prompt retrieval and prompt learning processes into a learnable prompt generator. Hence, the whole prompting process can be optimized to reduce the negative effects of the gap between tasks effectively. To make our APG avoid learning ineffective knowledge, we maintain a knowledge pool to regularize APG with the feature distribution of each class. Extensive experiments show that our method significantly outperforms advanced methods in exemplar-free incremental learning without (strong) pretraining. Besides, under strong retraining, our method also has comparable performance to existing prompt-based models, showing that our method can still benefit from pretraining. Codes can be found at https://github.com/TOM-tym/APG
• Abstract（参考訳）: インクリメンタル学習は、シーケンシャルなタスクからディープネットワークを学ぶ際の破滅的な忘れを克服することを目的としている。 優れた学習効率と性能により、プロンプトベースのメソッドはタスク固有のプロンプトを学習することで、シーケンシャルなタスクに固定されたバックボーンを採用する。 しかし、既存のプロンプトベースの手法は強い事前学習(通常はimagenet-21kで訓練されている)に大きく依存しており、事前学習タスクと未知の将来のタスクの間の潜在的なギャップが大きい場合、モデルが捕捉される可能性がある。 本研究では,学習可能な適応型プロンプトジェネレータ(APG)を開発した。 鍵となるのは、プロンプト検索と学習プロセスを学習可能なプロンプトジェネレータに統一することである。 したがって、タスク間のギャップの悪影響を効果的に低減するために、プロンプトプロセス全体を最適化することができる。 APGが非効率な知識を学習することを避けるため、各クラスの特徴分布に合わせてAPGを正規化するための知識プールを維持します。 大規模な実験により,本手法は事前学習を伴わずに,先進的な漸進的学習法よりも優れていることが示された。 さらに,強いリトレーニングの下では,既存のプロンプトベースモデルと同等の性能を持つため,プリトレーニングによるメリットも期待できる。 コードはhttps://github.com/TOM-tym/APGで見ることができる。

関連論文リスト

• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning [10.299813904573695]
  分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。 単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2024-02-06T16:31:11Z)
• Introducing Language Guidance in Prompt-based Continual Learning [95.03110230754423]
  本稿では,Prompt-based Continual Learning (LGCL) のための言語指導手法を提案する。 LGCLは、新しい最先端技術を設定するために、プロンプトベースの連続学習手法の性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-08-30T08:03:49Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Improving Feature Generalizability with Multitask Learning in Class Incremental Learning [12.632121107536843]
  キーワードスポッティングのような多くのディープラーニングアプリケーションは、クラスインクリメンタルラーニング(CIL)と呼ばれる新しい概念(クラス)を時間とともに組み込む必要がある。 CILの最大の課題は、破滅的な忘れ、すなわち、新しいタスクを学習しながら可能な限り多くの古い知識を保存することである。 本稿では,基本モデルトレーニング中のマルチタスク学習による特徴一般化性の向上を提案する。 提案手法は,平均漸進的学習精度を最大5.5%向上させ,時間とともにより信頼性が高く正確なキーワードスポッティングを可能にする。
  論文  参考訳（メタデータ） (2022-04-26T07:47:54Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting [66.45372974713189]
  本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。 実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。 我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
  論文  参考訳（メタデータ） (2020-04-27T08:59:57Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。