論文の概要: POP: Prompt Of Prompts for Continual Learning
- arxiv url: http://arxiv.org/abs/2306.08200v1
- Date: Wed, 14 Jun 2023 02:09:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 20:46:54.815172
- Title: POP: Prompt Of Prompts for Continual Learning
- Title(参考訳): POP:継続的な学習のためのプロンプトのプロンプト
- Authors: Zhiyuan Hu, Jiancheng Lyu, Dashan Gao, Nuno Vasconcelos
- Abstract要約: 継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
- 参考スコア(独自算出の注目度): 59.15888651733645
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Continual learning (CL) has attracted increasing attention in the recent
past. It aims to mimic the human ability to learn new concepts without
catastrophic forgetting. While existing CL methods accomplish this to some
extent, they are still prone to semantic drift of the learned feature space.
Foundation models, which are endowed with a robust feature representation,
learned from very large datasets, provide an interesting substrate for the
solution of the CL problem. Recent work has also shown that they can be adapted
to specific tasks by prompt tuning techniques that leave the generality of the
representation mostly unscathed. An open question is, however, how to learn
both prompts that are task specific and prompts that are global, i.e. capture
cross-task information. In this work, we propose the Prompt Of Prompts (POP)
model, which addresses this goal by progressively learning a group of
task-specified prompts and a group of global prompts, denoted as POP, to
integrate information from the former. We show that a foundation model equipped
with POP learning is able to outperform classic CL methods by a significant
margin. Moreover, as prompt tuning only requires a small set of training
samples, POP is able to perform CL in the few-shot setting, while still
outperforming competing methods trained on the entire dataset.
- Abstract(参考訳): 近年,継続的な学習 (CL) が注目されている。
破滅的な忘れることなく新しい概念を学ぶ人間の能力を模倣することを目的としている。
既存のCLメソッドはある程度これを達成しているが、学習した特徴空間のセマンティックなドリフトがまだある。
基盤モデルには、非常に大きなデータセットから学んだ堅牢な特徴表現が与えられ、cl問題の解のための興味深い基盤を提供する。
最近の研究は、表現の一般性をほとんど無スケールで残すような技法を迅速にチューニングすることで、特定のタスクに適応できることも示している。
しかし、オープンな質問は、タスク固有のプロンプトと、グローバルであるプロンプト、すなわち、クロスタスク情報を取得する方法である。
本研究では、タスク特定プロンプトのグループと、popと呼ばれるグローバルプロンプトのグループを段階的に学習して、前者からの情報を統合することにより、この目標に対処するprompion of prompts(pop)モデルを提案する。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
さらに、プロンプトチューニングは、少数のトレーニングサンプルのみを必要とするため、POPは、データセット全体でトレーニングされた競合メソッドよりも優れたパフォーマンスを保ちながら、数ショット設定でCLを実行することができる。
関連論文リスト
- Semantic Residual Prompts for Continual Learning [21.986800282078498]
提案手法は,最先端CLアプローチとゼロショットCLIPテストの両方で有意に優れていた。
我々の発見は、バックボーンモデルの事前学習知識に相当な領域ギャップを持つデータセットにも当てはまる。
論文 参考訳(メタデータ) (2024-03-11T16:23:38Z) - Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。
別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。
そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
論文 参考訳(メタデータ) (2024-01-04T18:59:49Z) - Introducing Language Guidance in Prompt-based Continual Learning [95.03110230754423]
本稿では,Prompt-based Continual Learning (LGCL) のための言語指導手法を提案する。
LGCLは、新しい最先端技術を設定するために、プロンプトベースの連続学習手法の性能を一貫して改善する。
論文 参考訳(メタデータ) (2023-08-30T08:03:49Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Retrieval-Enhanced Visual Prompt Learning for Few-shot Classification [10.709573361858613]
Retrieval-enhanced Prompt Learning (RePrompt)
本稿では,下流タスクから知識表現をキャッシュする検索機構を導入するRetrieval-enhanced Prompt Learning(RePrompt)を提案する。
RePromptがパフォーマンスを大幅に向上することを示すため,15のビジョンデータセットに対して,数ショット設定による11のダウンストリームタスクと4つのドメイン一般化ベンチマークを用いた実験を行った。
論文 参考訳(メタデータ) (2023-06-04T03:06:37Z) - Learning without Forgetting for Vision-Language Models [65.49600786387106]
CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。
VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。
本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
論文 参考訳(メタデータ) (2023-05-30T17:59:32Z) - Global Knowledge Calibration for Fast Open-Vocabulary Segmentation [124.74256749281625]
本稿では,各学習カテゴリの同義語群を生成するテキスト多様化戦略を提案する。
また,CLIPの汎用的な知識を維持するために,テキスト誘導型知識蒸留法を用いている。
提案手法は, 各種データセットに対して頑健な一般化性能を実現する。
論文 参考訳(メタデータ) (2023-03-16T09:51:41Z) - Effects of Auxiliary Knowledge on Continual Learning [16.84113206569365]
連続学習(CL)では、ニューラルネットワークは、時間とともに分布が変化するデータのストリームに基づいて訓練される。
既存のCLアプローチのほとんどは、獲得した知識を保存するソリューションを見つけることに重点を置いている。
モデルが新しいタスクを継続的に学習する必要があるため、タスク学習の後に改善する可能性のある現在の知識に焦点を合わせることも重要である、と我々は主張する。
論文 参考訳(メタデータ) (2022-06-03T14:31:59Z) - Continual Lifelong Learning in Natural Language Processing: A Survey [3.9103337761169943]
連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。
既存のディープラーニングアーキテクチャでは、以前獲得した知識をほとんど忘れずに新しいタスクを学習することは困難である。
我々は様々なnlpタスクのレンズを通してclの問題を検討する。
論文 参考訳(メタデータ) (2020-12-17T18:44:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。