論文の概要: RainbowPrompt: Diversity-Enhanced Prompt-Evolving for Continual Learning
- arxiv url: http://arxiv.org/abs/2507.22553v1
- Date: Wed, 30 Jul 2025 10:25:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 16:14:18.149855
- Title: RainbowPrompt: Diversity-Enhanced Prompt-Evolving for Continual Learning
- Title（参考訳）: Rainbow Prompt: 継続的な学習のための多様性向上型プロンプト進化
- Authors: Kiseong Hong, Gyeong-hyeon Kim, Eunwoo Kim,
- Abstract要約: 本稿では,多様性を確保しつつ,ベースプロンプトを統一的なプロンプトに集約する新しいプロンプト進化機構を提案する。
これまでに学習され,新たに導入されたベースプロンプトの変換と調整によって,我々のアプローチは,蓄積した知識を継続的に進化させ,新しいタスクの学習を容易にする。
我々は,クラス増分学習における画像分類と映像行動認識タスクについて検証し,すべてのシナリオにおいて既存の手法よりも平均9.07%,7.40%向上した。
- 参考スコア（独自算出の注目度）: 3.495640663645262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt-based continual learning provides a rehearsal-free solution by tuning small sets of parameters while keeping pre-trained models frozen. To meet the complex demands of sequential tasks, it is crucial to integrate task-specific knowledge within prompts effectively. However, existing works rely on either fixed learned prompts (i.e., prompts whose representations remain unchanged during new task learning) or on prompts generated from an entangled task-shared space, limiting the representational diversity of the integrated prompt. To address this issue, we propose a novel prompt-evolving mechanism to adaptively aggregate base prompts (i.e., task-specific prompts) into a unified prompt while ensuring diversity. By transforming and aligning base prompts, both previously learned and newly introduced, our approach continuously evolves accumulated knowledge to facilitate learning new tasks. We further introduce a learnable probabilistic gate that adaptively determines which layers to activate during the evolution process. We validate our method on image classification and video action recognition tasks in class-incremental learning, achieving average gains of 9.07% and 7.40% over existing methods across all scenarios.
- Abstract（参考訳）: Promptベースの連続学習は、トレーニング済みのモデルを凍結させながら、小さなパラメータセットをチューニングすることで、リハーサルのないソリューションを提供する。
シーケンシャルなタスクの複雑な要求を満たすためには、プロンプト内でタスク固有の知識を効果的に統合することが不可欠である。
しかし、既存の研究は、固定された学習プロンプト(すなわち、新しいタスク学習中に表現が変化しないプロンプト)や、絡み合ったタスク共有空間から生成されたプロンプトに依存し、統合されたプロンプトの表現の多様性を制限する。
この問題に対処するために,多様性を確保しつつ,ベースプロンプト(タスク固有のプロンプト)を統一プロンプトに適応的に集約する新しいプロンプト進化機構を提案する。
これまでに学習され,新たに導入されたベースプロンプトの変換と調整によって,我々のアプローチは,蓄積した知識を継続的に進化させ,新しいタスクの学習を容易にする。
さらに,進化過程においてどの層が活性化するかを適応的に決定する学習可能な確率ゲートを導入する。
我々は,クラス増分学習における画像分類と映像行動認識タスクについて検証し,すべてのシナリオにおいて既存の手法よりも平均9.07%,7.40%向上した。
関連論文リスト
- Vector Quantization Prompting for Continual Learning [23.26682439914273]
連続学習は、1つのモデルを一連のタスクでトレーニングする際に破滅的な忘れを克服する必要がある。
最近のトップパフォーマンスアプローチは、学習可能なパラメータのセットを使ってタスク知識をエンコードするプロンプトベースの手法である。
本稿では,ベクトル量子化を離散的なプロンプトのエンドツーエンドトレーニングに組み込む,プロンプトに基づく連続学習手法であるVQ-Promptを提案する。
論文 参考訳（メタデータ） (2024-10-27T13:43:53Z) - LW2G: Learning Whether to Grow for Prompt-based Continual Learning [55.552510632228326]
最近のPromptベースの連続学習は、事前訓練されたモデルで顕著な性能を達成した。
これらのアプローチは、学習中に新しいプロンプトセットを追加してプロンプトプールを拡張し、推論中に正しいセットを選択する。
従来,PCLの性能向上に課題を呈する課題として,タスク指向のプロンプトセットの個別化と選択精度の低さが指摘されてきた。
論文 参考訳（メタデータ） (2024-09-27T15:55:13Z) - Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition [0.0]
マルチタスクのプロンプトチューニングは、その固有のモジュラリティと、パラメータ効率のよい転送学習を向上する可能性に対して、かなりの注意を払っている。
本稿では,マルチタスク環境において,対応するプロンプト間の知識伝達を容易にすることで,複数のタスクのパフォーマンスを解析・改善することを目的とする。
論文 参考訳（メタデータ） (2024-08-23T17:01:51Z) - PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。
近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文 参考訳（メタデータ） (2024-07-04T10:37:58Z) - Hierarchical Prompts for Rehearsal-free Continual Learning [67.37739666753008]
継続的な学習は、過去のタスク知識の忘れを軽減しつつ、現在のタスク知識を統合する能力をモデルに装備する。
プロンプトチューニングによってインスパイアされたプロンプトベースのメソッドは、凍結したバックボーンを維持し、わずかに学習可能なプロンプトでトレーニングする。
本稿では,H-Prompts(H-Prompts)と呼ばれる連続学習のための新しいリハーサルフリーパラダイムを提案する。
論文 参考訳（メタデータ） (2024-01-21T16:59:44Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳（メタデータ） (2023-11-01T04:40:05Z) - Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
マルチタスク・プロンプト・チューニング(MPT)を提案する。
MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。
次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
論文 参考訳（メタデータ） (2023-03-06T03:25:59Z) - Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。
異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。
このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-05T15:26:36Z) - Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。
本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文 参考訳（メタデータ） (2022-03-13T13:22:41Z) - Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。
提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
論文 参考訳（メタデータ） (2022-01-18T17:03:25Z) - TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。
提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
論文 参考訳（メタデータ） (2021-05-11T16:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。