論文の概要: Teaching Prompts to Coordinate: Hierarchical Layer-Grouped Prompt Tuning for Continual Learning

• arxiv url: http://arxiv.org/abs/2511.12090v1
• Date: Sat, 15 Nov 2025 08:15:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.600186
• Title: Teaching Prompts to Coordinate: Hierarchical Layer-Grouped Prompt Tuning for Continual Learning
• Title（参考訳）: 協調のためのプロンプト:継続的学習のための階層型階層型プロンプトチューニング
• Authors: Shengqin Jiang, Tianqi Kong, Yuankai Qi, Haokui Zhang, Lina Yao, Quan Z. Sheng, Qingshan Liu, Ming-Hsuan Yang,
• Abstract要約: 連続学習のための階層型階層型プロンプトチューニング手法を提案する。 i) 同じグループの層がほぼ同じプロンプトを共有し、位置符号化によって調整される。 単一のタスク固有のルートプロンプトを使用して、各レイヤグループのサブプロンプトを生成する。
• 参考スコア（独自算出の注目度）: 69.17264556340244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based continual learning methods fine-tune only a small set of additional learnable parameters while keeping the pre-trained model's parameters frozen. It enables efficient adaptation to new tasks while mitigating the risk of catastrophic forgetting. These methods typically attach one independent task-specific prompt to each layer of pre-trained models to locally modulate its features, ensuring that the layer's representation aligns with the requirements of the new task. However, although introducing learnable prompts independently at each layer provides high flexibility for adapting to new tasks, this overly flexible tuning could make certain layers susceptible to unnecessary updates. As all prompts till the current task are added together as a final prompt for all seen tasks, the model may easily overwrite feature representations essential to previous tasks, which increases the risk of catastrophic forgetting. To address this issue, we propose a novel hierarchical layer-grouped prompt tuning method for continual learning. It improves model stability in two ways: (i) Layers in the same group share roughly the same prompts, which are adjusted by position encoding. This helps preserve the intrinsic feature relationships and propagation pathways of the pre-trained model within each group. (ii) It utilizes a single task-specific root prompt to learn to generate sub-prompts for each layer group. In this way, all sub-prompts are conditioned on the same root prompt, enhancing their synergy and reducing independence. Extensive experiments across four benchmarks demonstrate that our method achieves favorable performance compared with several state-of-the-art methods.
• Abstract（参考訳）: プロンプトベースの連続学習手法は、事前訓練されたモデルのパラメータを凍結させながら、わずかな学習可能なパラメータのみを微調整する。 破滅的な忘れ込みのリスクを軽減しつつ、新しいタスクへの効率的な適応を可能にする。 これらのメソッドは、通常、1つの独立したタスク固有のプロンプトを事前訓練されたモデルの各レイヤにアタッチして、その特徴を局所的に調整し、レイヤの表現が新しいタスクの要求に合致することを保証します。 しかし、各レイヤで学習可能なプロンプトを独立して導入することは、新しいタスクに適応するための高い柔軟性を提供するが、過度に柔軟なチューニングは、一部のレイヤが不要な更新を許容する可能性がある。 全てのプロンプトが現在のタスクに最後のプロンプトとして付加されるので、モデルは以前のタスクに不可欠な特徴表現を簡単に上書きし、破滅的な忘れ込みのリスクを増大させます。 この問題に対処するために,連続学習のための階層階層型プロンプトチューニング手法を提案する。 モデル安定性を2つの方法で改善する。 (i)同じグループの層は、ほぼ同じプロンプトを共有し、位置エンコーディングによって調整される。 このことは、各グループ内で事前訓練されたモデルの固有の特徴関係と伝播経路を維持するのに役立ちます。 (ii)1つのタスク固有のルートプロンプトを使用して,各レイヤグループに対してサブプロンプトを生成する。 このように、全てのサブプロンプトは同じルートプロンプトで条件付けされ、シナジーを高め、独立性を低下させる。 4つのベンチマークによる大規模な実験により,本手法はいくつかの最先端手法と比較して良好な性能を示した。

関連論文リスト

• Convolutional Prompting meets Language Models for Continual Learning [4.115213208594654]
  継続学習(CL)により、機械学習モデルは、古いタスクからのデータなしで、新しいトレーニングデータを継続的にシフトすることから学ぶことができる。 ConvPromptは、階層的に共有された埋め込みを維持する新しい畳み込みプロンプト生成機構である。 畳み込みのインテリジェントな利用により、パフォーマンスを損なうことなく、低パラメータのオーバーヘッドを維持することができます。
  論文  参考訳（メタデータ） (2024-03-29T17:40:37Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
  マルチタスク・プロンプト・チューニング(MPT)を提案する。 MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。 次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
  論文  参考訳（メタデータ） (2023-03-06T03:25:59Z)
• Prompt-Matched Semantic Segmentation [96.99924127527002]
  本研究の目的は、事前学習した基礎モデルを、画像意味セグメンテーションの下流の様々なタスクに効果的に適応する方法を検討することである。 本稿では,タスク指向のチューニングに適応的に視覚的プロンプトを生成するとともに,基礎モデルの本来の構造を維持できる新しい階層間プロンプトマッチングフレームワークを提案する。 次に、Semantic-aware Prompt Matcherと呼ばれる軽量モジュールを導入し、2つのステージ間で階層的に補間し、各タスクに対して適切なプロンプトを学習する。
  論文  参考訳（メタデータ） (2022-08-22T09:12:53Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。