論文の概要: LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2604.11091v1
- Date: Mon, 13 Apr 2026 07:11:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.384972
- Title: LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning
- Title(参考訳): LDEPrompt: 事前学習モデルに基づくクラスインクリメンタル学習のためのレイヤーインパタンスガイド付きデュアル拡張型プロンプトプール
- Authors: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji,
- Abstract要約: 我々は,適応層選択と動的凍結およびプロンプトプールの拡張を可能にするtextbfLDEPromptを提案する。
広く使われているクラス増分学習ベンチマークの実験は、LDEPromptが最先端のパフォーマンスを達成することを示した。
- 参考スコア(独自算出の注目度): 33.5648791371919
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Prompt-based class-incremental learning methods typically construct a prompt pool consisting of multiple trainable key-prompts and perform instance-level matching to select the most suitable prompt embeddings, which has shown promising results. However, existing approaches face several limitations, including fixed prompt pools, manual selection of prompt embeddings, and strong reliance on the pretrained backbone for prompt selection. To address these issues, we propose a \textbf{L}ayer-importance guided \textbf{D}ual \textbf{E}xpandable \textbf{P}rompt Pool (\textbf{LDEPrompt}), which enables adaptive layer selection as well as dynamic freezing and expansion of the prompt pool. Extensive experiments on widely used class-incremental learning benchmarks demonstrate that LDEPrompt achieves state-of-the-art performance, validating its effectiveness and scalability.
- Abstract(参考訳): プロンプトに基づくクラスインクリメンタル学習手法は、通常、複数のトレーニング可能なキープロンプトからなるプロンプトプールを構築し、インスタンスレベルのマッチングを行い、最も適切なプロンプト埋め込みを選択する。
しかし、既存のアプローチでは、固定プロンプトプール、プロンプト埋め込みのマニュアル選択、プロンプト選択のための事前訓練されたバックボーンへの強い依存など、いくつかの制限に直面している。
これらの問題に対処するために、適応層選択とプロンプトプールの動的凍結と拡張を可能にする、 \textbf{L}ayer-importance guided \textbf{D}ual \textbf{E}xpandable \textbf{P}rompt Pool (\textbf{LDEPrompt})を提案する。
LDEPromptが最先端のパフォーマンスを実現し,その有効性とスケーラビリティを検証した。
関連論文リスト
- FDBPL: Faster Distillation-Based Prompt Learning for Region-Aware Vision-Language Models Adaptation [17.51747913191231]
大規模なtextbfFaster large textbfDistillation-large textbfBased large textbfPrompt large textbfLL (textbfFDBPL) を提案する。
複数のトレーニングステージにまたがってソフトな監視コンテキストを共有し、アクセラレーションされたI/Oを実装することで、問題に対処する。11データセットにわたる包括的な評価は、ベース・ツー・ニューな一般化、クロス・データセットの転送、ロバストネステストにおいて優れたパフォーマンスを示し、より高速なトレーニング速度で2.2倍の速さで達成する。
論文 参考訳(メタデータ) (2025-05-23T15:57:16Z) - Achieving More with Less: Additive Prompt Tuning for Rehearsal-Free Class-Incremental Learning [76.32953653161417]
クラス増分学習は、モデルが学習したクラスの知識を保持しながら、新しいクラスを段階的に学習することを可能にする。
この分野での最近の進歩はパラメータ効率のよい微調整技術へと移行している。
本稿では,現在のアプローチの限界に対処する新しいプロンプトベースのアプローチを提案する。
論文 参考訳(メタデータ) (2025-03-11T02:27:37Z) - LW2G: Learning Whether to Grow for Prompt-based Continual Learning [55.552510632228326]
最近のPromptベースの連続学習は、事前訓練されたモデルで顕著な性能を達成した。
これらのアプローチは、学習中に新しいプロンプトセットを追加してプロンプトプールを拡張し、推論中に正しいセットを選択する。
従来,PCLの性能向上に課題を呈する課題として,タスク指向のプロンプトセットの個別化と選択精度の低さが指摘されてきた。
論文 参考訳(メタデータ) (2024-09-27T15:55:13Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。