論文の概要: Hierarchical Prompts for Rehearsal-free Continual Learning

• arxiv url: http://arxiv.org/abs/2401.11544v1
• Date: Sun, 21 Jan 2024 16:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:56:23.998902
• Title: Hierarchical Prompts for Rehearsal-free Continual Learning
• Title（参考訳）: リハーサルフリー連続学習のための階層的プロンプト
• Authors: Yukun Zuo, Hantao Yao, Lu Yu, Liansheng Zhuang, Changsheng Xu
• Abstract要約: 継続的な学習は、過去のタスク知識の忘れを軽減しつつ、現在のタスク知識を統合する能力をモデルに装備する。 プロンプトチューニングによってインスパイアされたプロンプトベースのメソッドは、凍結したバックボーンを維持し、わずかに学習可能なプロンプトでトレーニングする。 本稿では,H-Prompts(H-Prompts)と呼ばれる連続学習のための新しいリハーサルフリーパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 67.37739666753008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning endeavors to equip the model with the capability to integrate current task knowledge while mitigating the forgetting of past task knowledge. Inspired by prompt tuning, prompt-based methods maintain a frozen backbone and train with slight learnable prompts to minimize the catastrophic forgetting that arises due to updating a large number of backbone parameters. Nonetheless, these learnable prompts tend to concentrate on the discriminatory knowledge of the current task while ignoring past task knowledge, leading to that learnable prompts still suffering from catastrophic forgetting. This paper introduces a novel rehearsal-free paradigm for continual learning termed Hierarchical Prompts (H-Prompts), comprising three categories of prompts -- class prompt, task prompt, and general prompt. To effectively depict the knowledge of past classes, class prompt leverages Bayesian Distribution Alignment to model the distribution of classes in each task. To reduce the forgetting of past task knowledge, task prompt employs Cross-task Knowledge Excavation to amalgamate the knowledge encapsulated in the learned class prompts of past tasks and current task knowledge. Furthermore, general prompt utilizes Generalized Knowledge Exploration to deduce highly generalized knowledge in a self-supervised manner. Evaluations on two benchmarks substantiate the efficacy of the proposed H-Prompts, exemplified by an average accuracy of 87.8% in Split CIFAR-100 and 70.6% in Split ImageNet-R.
• Abstract（参考訳）: 継続的な学習は、過去のタスク知識の忘れを軽減しつつ、現在のタスク知識を統合する能力をモデルに装備する。 迅速なチューニングによってインスパイアされたプロンプトベースのメソッドは、凍結したバックボーンを維持し、学習可能なプロンプトでトレーニングすることで、多数のバックボーンパラメータの更新によって生じる破滅的な忘れを最小化する。 それでも、これらの学習可能なプロンプトは、過去のタスク知識を無視しながら、現在のタスクの差別的な知識に集中する傾向にあり、その学習可能なプロンプトは依然として破滅的な忘れがちである。 本稿では,H-Prompts(H-Prompts)と呼ばれる連続学習のための新しいリハーサルのないパラダイムを紹介し,プロンプトの3つのカテゴリ – クラスプロンプト,タスクプロンプト,一般プロンプト – を紹介する。 過去のクラスの知識を効果的に表現するために、クラスプロンプトはベイズ分布アライメントを利用して各タスクにおけるクラスの分布をモデル化する。 過去のタスク知識の忘れを抑えるため、タスクプロンプトはクロスタスク知識発掘を用いて、過去のタスクと現在のタスク知識の学習クラスプロンプトにカプセル化された知識を融合させる。 さらに、汎用的な知識探索を用いて、高度に一般化された知識を自己監督的に推測する。 2つのベンチマークの評価は提案されたH-Promptの有効性を裏付け、Split CIFAR-100の平均精度は87.8%、Split ImageNet-Rは70.6%である。

関連論文リスト

• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Q-Tuning: Queue-based Prompt Tuning for Lifelong Few-shot Language Learning [21.261637357094035]
  textbfQ-tuningは、トレーニング済みの言語モデルの生涯学習を可能にする。 新しいタスクを学ぶとき、Q-tuningはタスク固有のプロンプトをトレーニングし、古いタスクからのプロンプトからなるプロンプトキューに追加する。
  論文  参考訳（メタデータ） (2024-04-22T22:04:16Z)
• Class-Incremental Few-Shot Event Detection [68.66116956283575]
  本稿では,クラスインクリメンタルなイベント検出と呼ばれる新しいタスクを提案する。 このタスクは、古い知識の忘れと新しいクラスオーバーフィットという2つの問題に直面している。 そこで本研究では,Prompt-KDと呼ばれる新しい知識蒸留法と迅速な学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T09:31:14Z)
• Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt [58.880105981772324]
  ASP(Attention-Aware Self-Adaptive Prompt)という新しいフレームワークを提案する。 ASP.NETはタスク不変のプロンプトを奨励し、注意点から特定の情報を減らすことで共有知識をキャプチャする。 要約すると、ASPはベースタスクの過度な適合を防ぎ、数秒のインクリメンタルタスクで膨大なデータを必要としない。
  論文  参考訳（メタデータ） (2024-03-14T20:34:53Z)
• INCPrompt: Task-Aware incremental Prompting for Rehearsal-Free Class-incremental Learning [36.506275240271925]
  INCPromptは、破滅的な忘れを効果的に解決する革新的な継続的学習ソリューションである。 複数の連続学習ベンチマークにおける包括的評価は、既存のアルゴリズムよりもINCPromptの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-22T02:59:27Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Toward Sustainable Continual Learning: Detection and Knowledge Repurposing of Similar Tasks [31.095642850920385]
  本稿では,連続学習者が類似タスクと異種タスクを混在させるパラダイムを提案する。 本稿では,追加学習を必要としないタスク類似度検出機能を用いた連続学習フレームワークを提案する。 実験の結果,提案フレームワークは広く使用されているコンピュータビジョンのベンチマークで競合的に動作することがわかった。
  論文  参考訳（メタデータ） (2022-10-11T19:35:30Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。