論文の概要: Consistent Prompting for Rehearsal-Free Continual Learning
- arxiv url: http://arxiv.org/abs/2403.08568v2
- Date: Thu, 14 Mar 2024 12:26:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 00:51:27.974805
- Title: Consistent Prompting for Rehearsal-Free Continual Learning
- Title(参考訳): リハーサルなし連続学習のための一貫性プロンプト
- Authors: Zhanxin Gao, Jun Cen, Xiaobin Chang,
- Abstract要約: 継続的な学習は、古い知識を忘れずに、モデルが絶えず変化する環境やデータストリームに自律的に適応することを可能にする。
既存のプロンプトベースの手法は、トレーニングとテストの間に不整合であり、その効果を制限している。
より整合性のあるトレーニングとテストのための新しいプロンプトベースの手法であるConsistent Prompting(CPrompt)を提案する。
- 参考スコア(独自算出の注目度): 5.166083532861163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning empowers models to adapt autonomously to the ever-changing environment or data streams without forgetting old knowledge. Prompt-based approaches are built on frozen pre-trained models to learn the task-specific prompts and classifiers efficiently. Existing prompt-based methods are inconsistent between training and testing, limiting their effectiveness. Two types of inconsistency are revealed. Test predictions are made from all classifiers while training only focuses on the current task classifier without holistic alignment, leading to Classifier inconsistency. Prompt inconsistency indicates that the prompt selected during testing may not correspond to the one associated with this task during training. In this paper, we propose a novel prompt-based method, Consistent Prompting (CPrompt), for more aligned training and testing. Specifically, all existing classifiers are exposed to prompt training, resulting in classifier consistency learning. In addition, prompt consistency learning is proposed to enhance prediction robustness and boost prompt selection accuracy. Our Consistent Prompting surpasses its prompt-based counterparts and achieves state-of-the-art performance on multiple continual learning benchmarks. Detailed analysis shows that improvements come from more consistent training and testing.
- Abstract(参考訳): 継続的な学習は、古い知識を忘れずに、モデルが絶えず変化する環境やデータストリームに自律的に適応することを可能にする。
Promptベースのアプローチは、タスク固有のプロンプトと分類器を効率的に学習するために、凍結した事前訓練モデル上に構築されている。
既存のプロンプトベースの手法は、トレーニングとテストの間に不整合であり、その効果を制限している。
2種類の矛盾が明らかになる。
テスト予測はすべての分類器から作成され、トレーニングは全体的アライメントなしで現在のタスク分類器にのみフォーカスする。
プロンプトの不整合は、テスト中に選択されたプロンプトが、トレーニング中にこのタスクに関連するプロンプトと一致しないことを示している。
本稿では,より整合性のあるトレーニングとテストのための新しいプロンプトベース手法であるConsistent Prompting(CPrompt)を提案する。
具体的には、既存のすべての分類器が迅速な訓練に晒され、結果として分類器の一貫性が学習される。
さらに,予測ロバスト性を高め,選択精度を高めるために,即時一貫性学習を提案する。
我々のConsistent Promptingは、そのプロンプトベースのものを超え、複数の連続学習ベンチマークで最先端のパフォーマンスを達成する。
詳細な分析は、より一貫性のあるトレーニングとテストによって改善がもたらされることを示している。
関連論文リスト
- Semantic Prompting with Image-Token for Continual Learning [7.5140668729696145]
I-Promptはタスク予測を排除するためのタスクに依存しないアプローチである。
提案手法は,4つのベンチマーク上での競合性能を実現する。
様々なシナリオにまたがって,提案手法の優位性を示す。
論文 参考訳(メタデータ) (2024-03-18T07:43:14Z) - Any-Shift Prompting for Generalization over Distributions [66.29237565901734]
即時学習におけるトレーニングとテスト分布の関係を考察する一般的な確率的推論フレームワークである「任意のシフトプロンプト」を提案する。
このフレームワーク内では、テストプロンプトが分散関係を利用して、CLIPイメージ言語モデルのトレーニングからテストディストリビューションへの一般化を導く。
ネットワークは、トレーニング情報とテスト情報の両方をフィードフォワードパスに組み込んだ調整されたテストプロンプトを生成し、テスト時の追加のトレーニングコストを回避する。
論文 参考訳(メタデータ) (2024-02-15T16:53:42Z) - OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free
Class-Incremental Learning [10.299813904573695]
分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。
単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
論文 参考訳(メタデータ) (2024-02-06T16:31:11Z) - Continuous Prompt Generation from Linear Combination of Discrete Prompt
Embeddings [0.0]
本稿では、離散的なプロンプト埋め込みによる連続的プロンプト構築手法を提案し、連続的プロンプト解釈可能性および推論精度の向上を評価する。
手動で設計した離散プロンプトのセット $mathcalD$ に対して、各プロンプトをテンソル形式にトークン化し埋め込み、これらのプロンプトの線形結合が自然言語理解タスクのより高いパフォーマンスに対応するような重みを予測できるようにモデルを訓練する。
論文 参考訳(メタデータ) (2023-12-16T05:02:06Z) - Understanding prompt engineering may not require rethinking
generalization [56.38207873589642]
言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。
この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
論文 参考訳(メタデータ) (2023-10-06T00:52:48Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T12:28:25Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - Continued Pretraining for Better Zero- and Few-Shot Promptability [44.381944544918014]
マルチタスク学習中にトレーニング可能なプロンプトを組み込んだ簡単な事前学習により,ゼロショットと少数ショットの両方でプロンプト性が向上することを示す。
一方,MAML方式のメタラーニングによる事前学習は,プロンプトの少ないプロンプト性を直接最適化する手法であり,サブパー性能が向上する。
論文 参考訳(メタデータ) (2022-10-19T02:41:51Z) - Active Learning for Sequence Tagging with Deep Pre-trained Models and
Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。
我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。
また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文 参考訳(メタデータ) (2021-01-20T13:59:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。