論文の概要: LW2G: Learning Whether to Grow for Prompt-based Continual Learning

• arxiv url: http://arxiv.org/abs/2409.18860v1
• Date: Fri, 27 Sep 2024 15:55:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 08:58:26.793665
• Title: LW2G: Learning Whether to Grow for Prompt-based Continual Learning
• Title（参考訳）: LW2G: プロンプトに基づく継続的学習のための学習
• Authors: Qian Feng, Dawei Zhou, Hanbin Zhao, Chao Zhang, Hui Qian,
• Abstract要約: 最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
• 参考スコア（独自算出の注目度）: 15.766350352592331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) aims to learn in non-stationary scenarios, progressively acquiring and maintaining knowledge from sequential tasks. Recent Prompt-based Continual Learning (PCL) has achieved remarkable performance with Pre-Trained Models (PTMs). These approaches grow a prompt sets pool by adding a new set of prompts when learning each new task (\emph{prompt learning}) and adopt a matching mechanism to select the correct set for each testing sample (\emph{prompt retrieval}). Previous studies focus on the latter stage by improving the matching mechanism to enhance Prompt Retrieval Accuracy (PRA). To promote cross-task knowledge facilitation and form an effective and efficient prompt sets pool, we propose a plug-in module in the former stage to \textbf{Learn Whether to Grow (LW2G)} based on the disparities between tasks. Specifically, a shared set of prompts is utilized when several tasks share certain commonalities, and a new set is added when there are significant differences between the new task and previous tasks. Inspired by Gradient Projection Continual Learning, our LW2G develops a metric called Hinder Forward Capability (HFC) to measure the hindrance imposed on learning new tasks by surgically modifying the original gradient onto the orthogonal complement of the old feature space. With HFC, an automated scheme Dynamic Growing Approach adaptively learns whether to grow with a dynamic threshold. Furthermore, we design a gradient-based constraint to ensure the consistency between the updating prompts and pre-trained knowledge, and a prompts weights reusing strategy to enhance forward transfer. Extensive experiments show the effectiveness of our method. The source codes are available at \url{https://github.com/RAIAN08/LW2G}.
• Abstract（参考訳）: 継続学習(CL)は、非定常的なシナリオで学び、シーケンシャルなタスクから徐々に知識を取得し、維持することを目的としている。 近年のPrompt-based Continual Learning (PCL) は,PTM(Pre-Trained Models) で顕著な性能を発揮している。 これらのアプローチは、新しいタスク(\emph{prompt learning})を学習する際に新しいプロンプトセットを追加してプロンプトセットプールを成長させ、各テストサンプル(\emph{prompt search})に対して正しいセットを選択するためのマッチングメカニズムを採用する。 従来の研究は、PRA(Prompt Retrieval Accuracy)を強化するためのマッチングメカニズムを改善することで、後者の段階に焦点を当てていた。 クロスタスクな知識の促進を促進し,効果的かつ効率的なプロンプトセットプールを形成するために,タスク間の相違に基づき,前段階のプラグインモジュールを'textbf{Learn W whether to Grow' (LW2G) に提案する。 具体的には、複数のタスクが特定の共通点を共有している場合、共有されたプロンプトセットを使用し、新しいタスクと以前のタスクの間に大きな違いがある場合、新しいセットを追加する。 我々のLW2Gは、Hinder Forward Capability(HFC)と呼ばれる指標を開発し、従来の特徴空間の直交補体に対する元の勾配を外科的に修正することで、新しいタスクの学習に課される障害を測定する。 HFCでは、動的成長アプローチが動的しきい値で成長するかを適応的に学習する。 さらに,更新プロンプトと事前学習した知識との整合性を確保するために,勾配に基づく制約を設計し,転送促進のための重み再利用戦略を提案する。 大規模な実験により,本手法の有効性が示された。 ソースコードは \url{https://github.com/RAIAN08/LW2G} で公開されている。

関連論文リスト

• CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
  我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。 CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。 概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
  連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。 実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T19:55:32Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network [57.87240860624937]
  本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
  論文  参考訳（メタデータ） (2022-07-14T09:04:51Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• Continual Learning with Node-Importance based Adaptive Group Sparse Regularization [30.23319528662881]
  AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。 提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
  論文  参考訳（メタデータ） (2020-03-30T18:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。