論文の概要: Hierarchical Prompts for Rehearsal-free Continual Learning
- arxiv url: http://arxiv.org/abs/2401.11544v1
- Date: Sun, 21 Jan 2024 16:59:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 15:56:23.998902
- Title: Hierarchical Prompts for Rehearsal-free Continual Learning
- Title(参考訳): リハーサルフリー連続学習のための階層的プロンプト
- Authors: Yukun Zuo, Hantao Yao, Lu Yu, Liansheng Zhuang, Changsheng Xu
- Abstract要約: 継続的な学習は、過去のタスク知識の忘れを軽減しつつ、現在のタスク知識を統合する能力をモデルに装備する。
プロンプトチューニングによってインスパイアされたプロンプトベースのメソッドは、凍結したバックボーンを維持し、わずかに学習可能なプロンプトでトレーニングする。
本稿では,H-Prompts(H-Prompts)と呼ばれる連続学習のための新しいリハーサルフリーパラダイムを提案する。
- 参考スコア(独自算出の注目度): 67.37739666753008
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning endeavors to equip the model with the capability to
integrate current task knowledge while mitigating the forgetting of past task
knowledge. Inspired by prompt tuning, prompt-based methods maintain a frozen
backbone and train with slight learnable prompts to minimize the catastrophic
forgetting that arises due to updating a large number of backbone parameters.
Nonetheless, these learnable prompts tend to concentrate on the discriminatory
knowledge of the current task while ignoring past task knowledge, leading to
that learnable prompts still suffering from catastrophic forgetting. This paper
introduces a novel rehearsal-free paradigm for continual learning termed
Hierarchical Prompts (H-Prompts), comprising three categories of prompts --
class prompt, task prompt, and general prompt. To effectively depict the
knowledge of past classes, class prompt leverages Bayesian Distribution
Alignment to model the distribution of classes in each task. To reduce the
forgetting of past task knowledge, task prompt employs Cross-task Knowledge
Excavation to amalgamate the knowledge encapsulated in the learned class
prompts of past tasks and current task knowledge. Furthermore, general prompt
utilizes Generalized Knowledge Exploration to deduce highly generalized
knowledge in a self-supervised manner. Evaluations on two benchmarks
substantiate the efficacy of the proposed H-Prompts, exemplified by an average
accuracy of 87.8% in Split CIFAR-100 and 70.6% in Split ImageNet-R.
- Abstract(参考訳): 継続的な学習は、過去のタスク知識の忘れを軽減しつつ、現在のタスク知識を統合する能力をモデルに装備する。
迅速なチューニングによってインスパイアされたプロンプトベースのメソッドは、凍結したバックボーンを維持し、学習可能なプロンプトでトレーニングすることで、多数のバックボーンパラメータの更新によって生じる破滅的な忘れを最小化する。
それでも、これらの学習可能なプロンプトは、過去のタスク知識を無視しながら、現在のタスクの差別的な知識に集中する傾向にあり、その学習可能なプロンプトは依然として破滅的な忘れがちである。
本稿では,H-Prompts(H-Prompts)と呼ばれる連続学習のための新しいリハーサルのないパラダイムを紹介し,プロンプトの3つのカテゴリ – クラスプロンプト,タスクプロンプト,一般プロンプト – を紹介する。
過去のクラスの知識を効果的に表現するために、クラスプロンプトはベイズ分布アライメントを利用して各タスクにおけるクラスの分布をモデル化する。
過去のタスク知識の忘れを抑えるため、タスクプロンプトはクロスタスク知識発掘を用いて、過去のタスクと現在のタスク知識の学習クラスプロンプトにカプセル化された知識を融合させる。
さらに、汎用的な知識探索を用いて、高度に一般化された知識を自己監督的に推測する。
2つのベンチマークの評価は提案されたH-Promptの有効性を裏付け、Split CIFAR-100の平均精度は87.8%、Split ImageNet-Rは70.6%である。
関連論文リスト
- INCPrompt: Task-Aware incremental Prompting for Rehearsal-Free
Class-incremental Learning [39.16560969128012]
INCPromptは、破滅的な忘れを効果的に解決する革新的な継続的学習ソリューションである。
複数の連続学習ベンチマークにおける包括的評価は、既存のアルゴリズムよりもINCPromptの方が優れていることを示す。
論文 参考訳(メタデータ) (2024-01-22T02:59:27Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳(メタデータ) (2023-02-02T04:03:38Z) - Toward Sustainable Continual Learning: Detection and Knowledge
Repurposing of Similar Tasks [31.095642850920385]
本稿では,連続学習者が類似タスクと異種タスクを混在させるパラダイムを提案する。
本稿では,追加学習を必要としないタスク類似度検出機能を用いた連続学習フレームワークを提案する。
実験の結果,提案フレームワークは広く使用されているコンピュータビジョンのベンチマークで競合的に動作することがわかった。
論文 参考訳(メタデータ) (2022-10-11T19:35:30Z) - Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。
異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。
このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-05T15:26:36Z) - Learning with Recoverable Forgetting [77.56338597012927]
学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。
具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。
いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-07-17T16:42:31Z) - Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。
本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文 参考訳(メタデータ) (2022-03-13T13:22:41Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳(メタデータ) (2021-12-31T12:05:22Z) - Reciprocal Feature Learning via Explicit and Implicit Tasks in Scene
Text Recognition [60.36540008537054]
本研究では,従来のテキスト認識における文字数カウントという暗黙のタスクを,追加的な注釈コストなしで発掘する。
両タスクの機能を適切に活用するために,2分岐の相反的特徴学習フレームワークを設計する。
7つのベンチマークの実験では、テキスト認識と新しい文字カウントタスクの両方において提案手法の利点が示されている。
論文 参考訳(メタデータ) (2021-05-13T12:27:35Z) - Towards All-around Knowledge Transferring: Learning From Task-irrelevant
Labels [44.036667329736225]
既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。
これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。
本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
論文 参考訳(メタデータ) (2020-11-17T06:43:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。