論文の概要: POP: Prompt Of Prompts for Continual Learning

• arxiv url: http://arxiv.org/abs/2306.08200v1
• Date: Wed, 14 Jun 2023 02:09:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 20:46:54.815172
• Title: POP: Prompt Of Prompts for Continual Learning
• Title（参考訳）: POP:継続的な学習のためのプロンプトのプロンプト
• Authors: Zhiyuan Hu, Jiancheng Lyu, Dashan Gao, Nuno Vasconcelos
• Abstract要約: 継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。 POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 59.15888651733645
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continual learning (CL) has attracted increasing attention in the recent past. It aims to mimic the human ability to learn new concepts without catastrophic forgetting. While existing CL methods accomplish this to some extent, they are still prone to semantic drift of the learned feature space. Foundation models, which are endowed with a robust feature representation, learned from very large datasets, provide an interesting substrate for the solution of the CL problem. Recent work has also shown that they can be adapted to specific tasks by prompt tuning techniques that leave the generality of the representation mostly unscathed. An open question is, however, how to learn both prompts that are task specific and prompts that are global, i.e. capture cross-task information. In this work, we propose the Prompt Of Prompts (POP) model, which addresses this goal by progressively learning a group of task-specified prompts and a group of global prompts, denoted as POP, to integrate information from the former. We show that a foundation model equipped with POP learning is able to outperform classic CL methods by a significant margin. Moreover, as prompt tuning only requires a small set of training samples, POP is able to perform CL in the few-shot setting, while still outperforming competing methods trained on the entire dataset.
• Abstract（参考訳）: 近年,継続的な学習 (CL) が注目されている。 破滅的な忘れることなく新しい概念を学ぶ人間の能力を模倣することを目的としている。 既存のCLメソッドはある程度これを達成しているが、学習した特徴空間のセマンティックなドリフトがまだある。 基盤モデルには、非常に大きなデータセットから学んだ堅牢な特徴表現が与えられ、cl問題の解のための興味深い基盤を提供する。 最近の研究は、表現の一般性をほとんど無スケールで残すような技法を迅速にチューニングすることで、特定のタスクに適応できることも示している。 しかし、オープンな質問は、タスク固有のプロンプトと、グローバルであるプロンプト、すなわち、クロスタスク情報を取得する方法である。 本研究では、タスク特定プロンプトのグループと、popと呼ばれるグローバルプロンプトのグループを段階的に学習して、前者からの情報を統合することにより、この目標に対処するprompion of prompts(pop)モデルを提案する。 POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。 さらに、プロンプトチューニングは、少数のトレーニングサンプルのみを必要とするため、POPは、データセット全体でトレーニングされた競合メソッドよりも優れたパフォーマンスを保ちながら、数ショット設定でCLを実行することができる。

関連論文リスト

• CLEO: Continual Learning of Evolving Ontologies [12.18795037817058]
  継続的な学習(CL)は、知的システムに人間の生涯学習を浸透させることを目的としている。 一般的な学習プロセスは、学習情報だけでなく、既存の情報の洗練にも限界がある。 CLEOは、時間とともに現実の変化に適応するインテリジェントなシステムの必要性によって動機付けられている。
  論文  参考訳（メタデータ） (2024-07-11T11:32:33Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Instructing Prompt-to-Prompt Generation for Zero-Shot Learning [116.33775552866476]
  伝達可能な知識発見のための指導的視覚的プロンプトを蒸留するためのtextbfPrompt-to-textbfPrompt 生成手法 (textbfP2P) を提案する。 P2Pのコアとなるのは、アクセシブル条件付き視覚特徴と、モーダル共有セマンティック概念に関するテキスト命令からセマンティック関連命令をマイニングすることである。
  論文  参考訳（メタデータ） (2024-06-05T07:59:48Z)
• CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
  継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。 タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T04:15:58Z)
• Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt [58.880105981772324]
  ASP(Attention-Aware Self-Adaptive Prompt)という新しいフレームワークを提案する。 ASP.NETはタスク不変のプロンプトを奨励し、注意点から特定の情報を減らすことで共有知識をキャプチャする。 要約すると、ASPはベースタスクの過度な適合を防ぎ、数秒のインクリメンタルタスクで膨大なデータを必要としない。
  論文  参考訳（メタデータ） (2024-03-14T20:34:53Z)
• Semantic Residual Prompts for Continual Learning [21.986800282078498]
  提案手法は,最先端CLアプローチとゼロショットCLIPテストの両方で有意に優れていた。 我々の発見は、バックボーンモデルの事前学習知識に相当な領域ギャップを持つデータセットにも当てはまる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:38Z)
• Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
  メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。 別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。 そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:49Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。