論文の概要: Learning to Prompt for Continual Learning
- arxiv url: http://arxiv.org/abs/2112.08654v1
- Date: Thu, 16 Dec 2021 06:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 15:00:54.678940
- Title: Learning to Prompt for Continual Learning
- Title(参考訳): 継続的学習を促すための学習
- Authors: Zifeng Wang, Zizhao Zhang, Chen-Yu Lee, Han Zhang, Ruoxi Sun, Xiaoqi
Ren, Guolong Su, Vincent Perot, Jennifer Dy, Tomas Pfister
- Abstract要約: 本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
- 参考スコア(独自算出の注目度): 34.609384246149325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The mainstream paradigm behind continual learning has been to adapt the model
parameters to non-stationary data distributions, where catastrophic forgetting
is the central challenge. Typical methods rely on a rehearsal buffer or known
task identity at test time to retrieve learned knowledge and address
forgetting, while this work presents a new paradigm for continual learning that
aims to train a more succinct memory system without accessing task identity at
test time. Our method learns to dynamically prompt (L2P) a pre-trained model to
learn tasks sequentially under different task transitions. In our proposed
framework, prompts are small learnable parameters, which are maintained in a
memory space. The objective is to optimize prompts to instruct the model
prediction and explicitly manage task-invariant and task-specific knowledge
while maintaining model plasticity. We conduct comprehensive experiments under
popular image classification benchmarks with different challenging continual
learning settings, where L2P consistently outperforms prior state-of-the-art
methods. Surprisingly, L2P achieves competitive results against rehearsal-based
methods even without a rehearsal buffer and is directly applicable to
challenging task-agnostic continual learning. Source code is available at
https://github.com/google-research/l2p.
- Abstract(参考訳): 継続的学習の背後にある主流のパラダイムは、モデルパラメータを非定常データ分布に適応させることだった。
典型的な手法は、テスト時のリハーサルバッファや既知のタスクアイデンティティに頼り、学習した知識とアドレスの忘れを検索する一方で、テスト時にタスクIDにアクセスせずにより簡潔なメモリシステムをトレーニングすることを目的とした、継続学習のための新しいパラダイムを提示する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
提案するフレームワークでは、プロンプトは小さな学習可能なパラメータであり、メモリ空間で保持される。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
我々は,l2pが先行する最先端手法を一貫して上回る,難易度の高い連続学習環境下で,一般的な画像分類ベンチマークを用いて総合的な実験を行う。
驚くべきことに、L2Pはリハーサルバッファなしでもリハーサルベースの手法に対する競合的な結果を得ることができ、課題に依存しない連続学習に直接適用できる。
ソースコードはhttps://github.com/google-research/l2pで入手できる。
関連論文リスト
- Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Introducing Language Guidance in Prompt-based Continual Learning [95.03110230754423]
本稿では,Prompt-based Continual Learning (LGCL) のための言語指導手法を提案する。
LGCLは、新しい最先端技術を設定するために、プロンプトベースの連続学習手法の性能を一貫して改善する。
論文 参考訳(メタデータ) (2023-08-30T08:03:49Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳(メタデータ) (2023-02-02T04:03:38Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - DualPrompt: Complementary Prompting for Rehearsal-free Continual
Learning [39.53513975439818]
継続的な学習は、1つのモデルが破滅的な忘れをせずに一連のタスクを学習できるようにすることを目的としている。
我々はDualPromptを提案する。これはプロンプトと呼ばれる小さなパラメータ集合を学習し、訓練済みのモデルに逐次到着するタスクを学習するように指示する。
大規模な実験的検証によって、DualPromptは、挑戦的なクラスインクリメンタルな設定の下で、常に最先端のパフォーマンスを設定できる。
論文 参考訳(メタデータ) (2022-04-10T23:36:55Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳(メタデータ) (2022-01-23T22:14:17Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳(メタデータ) (2021-05-10T15:09:01Z) - Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。
連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。
共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文 参考訳(メタデータ) (2021-01-15T15:12:51Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳(メタデータ) (2020-07-30T16:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。