論文の概要: LW2G: Learning Whether to Grow for Prompt-based Continual Learning
- arxiv url: http://arxiv.org/abs/2409.18860v2
- Date: Mon, 30 Jun 2025 07:10:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.386985
- Title: LW2G: Learning Whether to Grow for Prompt-based Continual Learning
- Title（参考訳）: LW2G: プロンプトに基づく継続的学習のための学習
- Authors: Qian Feng, Da-wei Zhou, Hanbin Zhao, Chao Zhang, Jiahua Dong, Dengxin Dai, Hui Qian,
- Abstract要約: 最近のPromptベースの連続学習は、事前訓練されたモデルで顕著な性能を達成した。
これらのアプローチは、学習中に新しいプロンプトセットを追加してプロンプトプールを拡張し、推論中に正しいセットを選択する。
従来,PCLの性能向上に課題を呈する課題として,タスク指向のプロンプトセットの個別化と選択精度の低さが指摘されてきた。
- 参考スコア（独自算出の注目度）: 55.552510632228326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent Prompt-based Continual learning (PCL) has achieved remarkable performance with pre-trained models. These approaches expand a prompt pool by adding a new set of prompts while learning and select the correct set during inference. Previous studies have revealed that learning task-wised prompt sets individually and low selection accuracy pose challenges to the performance of PCL. In this paper, we propose a plug-in method, $\textbf{L}$earning $\textbf{W}$hether $\textbf{t}$o $\textbf{G}$row $\textbf{(LW2G)}$, which leverages the disparities between tasks to form an effective and efficient prompt sets pool, thereby achieving intra-task knowledge sharing and cooperation and avoiding the unbounded increase in the cost of the prompt pool. Specifically, a shared set is utilized when several tasks share certain commonalities, and a new set is added when there are significant differences between the new and previous tasks. To achieve this, we develop a metric called Hinder Forward Capability (HFC) to measure the hindrance imposed on learning new tasks by surgically modifying the original gradient onto the orthogonal complement of the old feature space. With HFC, an automated scheme, Dynamic Growing Approach, adaptively learns whether to grow with a dynamic threshold. Furthermore, we design a gradient-based constraint to ensure consistency between the updating prompts and pre-trained knowledge. Extensive experiments show the effectiveness of our method. Code is available at https://github.com/RAIAN08/LW2G.
- Abstract（参考訳）: 近年の Prompt-based Continual Learning (PCL) は, 事前学習モデルにより優れた性能を発揮している。
これらのアプローチは、学習中に新しいプロンプトセットを追加してプロンプトプールを拡張し、推論中に正しいセットを選択する。
従来,PCLの性能向上に課題を呈する課題として,タスク指向のプロンプトセットの個別化と選択精度の低さが指摘されてきた。
本稿では,タスク間の相違を利用して効率的なプロンプトセットプールを形成するプラグイン法,$\textbf{L}$earning $\textbf{W}$ whether $\textbf{t}$o $\textbf{G}$row $\textbf{(LW2G)}$を提案する。
具体的には、複数のタスクが特定の共通点を共有するときに共有セットを使用し、新しいタスクと以前のタスクの間に大きな違いがある場合に新しいセットを追加する。
そこで我々は,Hinder Forward Capability (HFC) と呼ばれる指標を開発し,従来の特徴空間の直交補空間に対して,元の勾配を外科的に修正することにより,新しいタスクの学習に課される障害を測定する。
自動化スキームであるHFCでは、動的成長アプローチ(Dynamic Growing Approach)が動的しきい値で成長するかどうかを適応的に学習する。
さらに、更新プロンプトと事前学習した知識との整合性を確保するために、勾配に基づく制約を設計する。
大規模な実験により,本手法の有効性が示された。
コードはhttps://github.com/RAIAN08/LW2Gで入手できる。
関連論文リスト
- FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning [19.068489119024388]
連続学習は、シーケンシャルなタスクに事前訓練されたモデルを活用するための有望なアプローチとして登場した。
既存のCLメソッドの多くは、ローランド適応(LoRA)アダプタやプロンプトなどの学習構造を漸進的に格納する。
動的階数セレクタ(DRS)と動的メタプロンプティング(DMP)の両方を統合した,新規で効率的な低ランク適応手法FM-LoRAを提案する。
論文 参考訳（メタデータ） (2025-04-09T19:36:18Z) - Adapter-Enhanced Semantic Prompting for Continual Learning [91.63494614012362]
継続学習(CL)は、モデルが進化するデータストリームに適応できるようにする。
従来のメソッドは通常、再生のために過去のデータを保持したり、新しい知識を学ぶためにモデルに追加のブランチを追加したりします。
本稿では,プロンプトチューニングとアダプタ技術を統合した軽量CLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-15T06:14:55Z) - CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。
CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。
概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
論文 参考訳（メタデータ） (2024-11-21T22:31:06Z) - Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。
実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-11-04T19:55:32Z) - PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。
近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文 参考訳（メタデータ） (2024-07-04T10:37:58Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - E2-AEN: End-to-End Incremental Learning with Adaptively Expandable
Network [57.87240860624937]
本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。
以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。
E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
論文 参考訳（メタデータ） (2022-07-14T09:04:51Z) - Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文 参考訳（メタデータ） (2021-12-16T06:17:07Z) - Learning to Relate Depth and Semantics for Unsupervised Domain
Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。
本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。
さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文 参考訳（メタデータ） (2021-05-17T13:42:09Z) - Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。
既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。
パターン認識型メタラーニング手法を提案する。
論文 参考訳（メタデータ） (2020-10-19T08:06:47Z) - Continual Learning with Node-Importance based Adaptive Group Sparse
Regularization [30.23319528662881]
AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。
提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
論文 参考訳（メタデータ） (2020-03-30T18:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。