論文の概要: Is Parameter Isolation Better for Prompt-Based Continual Learning?

• arxiv url: http://arxiv.org/abs/2601.20894v1
• Date: Wed, 28 Jan 2026 08:17:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.359538
• Title: Is Parameter Isolation Better for Prompt-Based Continual Learning?
• Title（参考訳）: プロンプトに基づく連続学習においてパラメータ分離はより良いか?
• Authors: Jiangyang Li, Chenhao Ding, Songlin Dong, Qiang Wang, Jianchao Zhao, Yuhang He, Yihong Gong,
• Abstract要約: 既存のほとんどのメソッドは、各タスクに一定のプロンプトのセットを割り当て、タスク間で知識を分離し、最適なパラメータの利用をもたらす。 このフレームワークはグローバルなプロンプトプールを構築し、タスク対応のゲートルーティング機構を導入し、プロンプトのサブセットをわずかに活性化する。 また,過剰な更新から頻繁に使用されるプロンプトを保護するために,累積的なプロンプトアクティベーション統計を利用する履歴対応モジュレータを導入する。
• 参考スコア（独自算出の注目度）: 46.254917907419895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based continual learning methods effectively mitigate catastrophic forgetting. However, most existing methods assign a fixed set of prompts to each task, completely isolating knowledge across tasks and resulting in suboptimal parameter utilization. To address this, we consider the practical needs of continual learning and propose a prompt-sharing framework. This framework constructs a global prompt pool and introduces a task-aware gated routing mechanism that sparsely activates a subset of prompts to achieve dynamic decoupling and collaborative optimization of task-specific feature representations. Furthermore, we introduce a history-aware modulator that leverages cumulative prompt activation statistics to protect frequently used prompts from excessive updates, thereby mitigating inefficient parameter usage and knowledge forgetting. Extensive analysis and empirical results demonstrate that our approach consistently outperforms existing static allocation strategies in effectiveness and efficiency.
• Abstract（参考訳）: プロンプトに基づく連続学習法は、破滅的な忘れを効果的に軽減する。 しかしながら、既存のほとんどのメソッドは各タスクに固定されたプロンプトを割り当て、タスク間での知識を完全に分離し、結果としてパラメーター以下の利用をもたらす。 これを解決するために,継続学習の実践的ニーズを考察し,即時共有フレームワークを提案する。 本フレームワークは,グローバルなプロンプトプールを構築し,タスク固有の特徴表現の動的デカップリングと協調最適化を実現するために,プロンプトのサブセットを疎に活性化するタスク対応ゲートルーティング機構を導入する。 さらに、累積的なアクティベーション統計を利用して、過剰な更新から頻繁に使用されるプロンプトを保護し、非効率なパラメータの使用と知識の忘れを緩和する履歴対応変調器を導入する。 大規模解析と実験結果から,本手法は既存の静的アロケーション戦略を効率,効率で一貫して上回っていることが明らかとなった。

関連論文リスト

• One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning [52.966712416640085]
  本稿では,タスク固有戦略と共有プロンプト戦略の両方の利点を統合する新しいフレームワークであるSMoPEを提案する。 SMoPEはタスク固有のプロンプトメソッドを一貫して上回り、最先端のアプローチと競合する性能を達成する。
  論文  参考訳（メタデータ） (2025-09-29T08:54:58Z)
• Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective [65.12150411762273]
  ランダムなデモを不整合な "gibberish" にプルーニングすることで,多様なタスクにおけるパフォーマンスが著しく向上することを示す。 本稿では,低データレジームのみを用いてプルーニング戦略を自動的に検索する自己発見プロンプト最適化フレームワークPromptQuineを提案する。
  論文  参考訳（メタデータ） (2025-06-22T07:53:07Z)
• Achieving More with Less: Additive Prompt Tuning for Rehearsal-Free Class-Incremental Learning [76.32953653161417]
  クラス増分学習は、モデルが学習したクラスの知識を保持しながら、新しいクラスを段階的に学習することを可能にする。 この分野での最近の進歩はパラメータ効率のよい微調整技術へと移行している。 本稿では,現在のアプローチの限界に対処する新しいプロンプトベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-03-11T02:27:37Z)
• Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective [23.79259400522239]
  本稿では,連続関係抽出における破滅的忘れに対処する新しい手法を提案する。 提案手法では各タスクにプロンプトプールを導入し,タスク内の変動を捉えるとともに,タスク間の差異を増大させる。
  論文  参考訳（メタデータ） (2024-12-11T11:00:33Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。