論文の概要: PrePrompt: Predictive prompting for class incremental learning
- arxiv url: http://arxiv.org/abs/2505.08586v1
- Date: Tue, 13 May 2025 13:57:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-14 20:57:54.595211
- Title: PrePrompt: Predictive prompting for class incremental learning
- Title（参考訳）: PrePrompt: クラスインクリメンタルラーニングのための予測的プロンプト
- Authors: Libo Huang, Zhulin An, Chuanguang Yang, Boyu Diao, Fei Wang, Yan Zeng, Zhifeng Hao, Yongjun Xu,
- Abstract要約: 事前学習モデルに基づくクラスインクリメンタルラーニング(CIL)は,オープンワールドの継続的ラーニングに有望な方向性を提供する。
本稿では,事前学習したモデルの自然な分類能力を活用し,タスク固有のプロンプトを予測することによって,相関に基づく制約を回避する新しいCILフレームワークであるPrepromptを提案する。
複数のベンチマークの実験は、PrePromptが最先端のプロンプトベースのCILメソッドよりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 37.06693481489317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class Incremental Learning (CIL) based on pre-trained models offers a promising direction for open-world continual learning. Existing methods typically rely on correlation-based strategies, where an image's classification feature is used as a query to retrieve the most related key prompts and select the corresponding value prompts for training. However, these approaches face an inherent limitation: fitting the entire feature space of all tasks with only a few trainable prompts is fundamentally challenging. We propose Predictive Prompting (PrePrompt), a novel CIL framework that circumvents correlation-based limitations by leveraging pre-trained models' natural classification ability to predict task-specific prompts. Specifically, PrePrompt decomposes CIL into a two-stage prediction framework: task-specific prompt prediction followed by label prediction. While theoretically appealing, this framework risks bias toward recent classes due to missing historical data for older classifier calibration. PrePrompt then mitigates this by incorporating feature translation, dynamically balancing stability and plasticity. Experiments across multiple benchmarks demonstrate PrePrompt's superiority over state-of-the-art prompt-based CIL methods. The code will be released upon acceptance.
- Abstract（参考訳）: 事前学習モデルに基づくクラスインクリメンタルラーニング(CIL)は,オープンワールドの継続的ラーニングに有望な方向性を提供する。
既存の手法は通常相関ベースの戦略に依存しており、画像の分類機能は、最も関連性の高いキープロンプトを検索し、トレーニングのために対応する値プロンプトを選択するクエリとして使用される。
しかしながら、これらのアプローチは固有の制限に直面している。すべてのタスクのフィーチャ空間全体をトレーニング可能なプロンプトだけに適合させることは、基本的には困難である。
本稿では,事前学習したモデルの自然な分類能力を活用し,タスク固有のプロンプトを予測することによって,相関に基づく制約を回避する新しいCILフレームワークであるPrepromptを提案する。
具体的には、PrePromptはCILを2段階の予測フレームワークに分解する。
理論上は魅力的だが、この枠組みは古い分類器の校正のための歴史的データが欠落しているため、近年の授業に対する偏見を危険にさらしている。
PrePromptは機能翻訳を取り入れ、安定性と可塑性を動的にバランスさせることによってこれを緩和する。
複数のベンチマークの実験は、PrePromptが最先端のプロンプトベースのCILメソッドよりも優れていることを示している。
コードは受理時にリリースされます。
関連論文リスト
- CAPrompt: Cyclic Prompt Aggregation for Pre-Trained Model Based Class Incremental Learning [12.249938312431993]
本稿では,タスクID予測への依存性を排除するために,新しいCAPromptアグリゲーション法を提案する。
凹凸条件下では、集約プロンプトは単一のタスク固有のプロンプトを選択するよりも低いエラーを達成する。
提案したCAPromptは最先端手法を2%-3%上回る性能を示した。
論文 参考訳（メタデータ） (2024-12-12T04:34:28Z) - Revisiting Prompt Pretraining of Vision-Language Models [13.888505919946578]
本稿では、RPP(Revisiting Prompt Pretraining)と呼ばれる一般的なフレームワークを提案する。
RPPは、フィッティングと一般化能力の改善を、迅速な構造と迅速な監督という2つの側面から目標としている。
また,事前訓練されたコントラスト言語画像事前学習(CLIP)教師モデルによって提供されるゼロショット確率予測から得られたソフトラベルを利用する。
論文 参考訳（メタデータ） (2024-09-10T02:36:13Z) - Consistent Prompting for Rehearsal-Free Continual Learning [5.166083532861163]
継続的な学習は、古い知識を忘れずに、モデルが絶えず変化する環境やデータストリームに自律的に適応することを可能にする。
既存のプロンプトベースの手法は、トレーニングとテストの間に不整合であり、その効果を制限している。
より整合性のあるトレーニングとテストのための新しいプロンプトベースの手法であるConsistent Prompting(CPrompt)を提案する。
論文 参考訳（メタデータ） (2024-03-13T14:24:09Z) - Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。
また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2023-09-10T10:57:41Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳（メタデータ） (2023-07-13T17:59:35Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳（メタデータ） (2022-10-05T17:05:56Z) - Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。
広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
論文 参考訳（メタデータ） (2021-03-30T00:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。