論文の概要: Information-Theoretic Decoupled Prompt Tuning for Continual Learning

• arxiv url: http://arxiv.org/abs/2609.26257v1
• Date: Thu, 13 Aug 2026 06:52:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.936022
• Title: Information-Theoretic Decoupled Prompt Tuning for Continual Learning
• Title（参考訳）: 継続学習のための情報理論デカップリング型プロンプトチューニング
• Abstract要約: 継続的な学習は、逐次データから知識を段階的に取得することを目的としている。 CLタスクに事前学習されたモデルを適用するための効率的なアプローチとして、プロンプトチューニングが注目されている。 Decoupled Prompt Tuning for Continual Learning (DPT4CL)を提案し、CLIPプロンプトをタスク共有プロンプト分布とクラス固有プロンプトに分解する。
• 参考スコア（独自算出の注目度）: 35.01406488886939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) aims to incrementally acquire knowledge from sequential data while avoiding catastrophic forgetting. Recently, prompt tuning has attracted increasing attention as an efficient approach for adapting pre-trained models to CL tasks. However, existing prompt design paradigms commonly suffer from retrieval dependence and classifier bias, which make model adaptation sensitive to prompt selection and bias predictions toward newly arrived classes. To address these challenges, we propose Decoupled Prompt Tuning for Continual Learning (DPT4CL), which decouples the CLIP textual prompt into a task-shared prompt distribution and class-specific prompts. The task-shared prompt distribution is derived by optimizing an Information Bottleneck objective to facilitate cross-task knowledge transfer and alleviate classifier bias, while class-specific prompts enhance inter-class separability without relying on explicit prompt retrieval. Furthermore, we establish a unified excess risk bound from an information-theoretic perspective, providing theoretical support for the robust generalization and forgetting mitigation of the proposed framework. Extensive experiments on standard CL benchmarks demonstrate that DPT4CL achieves state-of-the-art performance. The source code is available at https://github.com/Cloudfly-Z/DPT4CL
• Abstract（参考訳）: 連続学習(CL)は、破滅的な忘れを回避しつつ、逐次データから知識を段階的に取得することを目的としている。 近年,CLタスクに事前学習モデルを適用するための効率的なアプローチとして,プロンプトチューニングが注目されている。 しかし、既存のプロンプト設計パラダイムは、一般に検索依存と分類器バイアスに悩まされ、モデル適応は、新しく到着したクラスに対する迅速な選択とバイアス予測に敏感になる。 これらの課題に対処するために,CLIPテキストのプロンプトをタスク共有プロンプトとクラス固有プロンプトに分解するDecoupled Prompt Tuning for Continual Learning (DPT4CL)を提案する。 タスク共有プロンプト分布は、情報ボトルネック目標を最適化して、クロスタスクな知識伝達を容易にし、分類器バイアスを軽減するとともに、クラス固有のプロンプトは、明示的なプロンプト検索に頼ることなくクラス間セパビリティを向上させる。 さらに,情報理論の観点からは統合された過剰リスクを確立し,ロバストな一般化とフレームワークの緩和を忘れる理論的支援を提供する。 標準CLベンチマークの大規模な実験は、DPT4CLが最先端のパフォーマンスを達成することを示した。 ソースコードはhttps://github.com/Cloudfly-Z/DPT4CLで入手できる。

関連論文リスト

• Continual Learning on CLIP via Incremental Prompt Tuning with Intrinsic Textual Anchors [50.7383184560431]
  連続学習(CL)は、破滅的な忘れ込みを避けながら、ディープネットワークが新たな知識を得ることを可能にする。 インクリメンタルなプロンプトチューニングに基づくCLIPのための簡潔なCLアプローチを提案する。 我々の双方向監視戦略は、忘れを減らしながら、新しい知識をより効果的に学習することを可能にする。
  論文  参考訳（メタデータ） (2025-05-27T03:51:37Z)
• Adapter-Enhanced Semantic Prompting for Continual Learning [91.63494614012362]
  継続学習(CL)は、モデルが進化するデータストリームに適応できるようにする。 従来のメソッドは通常、再生のために過去のデータを保持したり、新しい知識を学ぶためにモデルに追加のブランチを追加したりします。 本稿では,プロンプトチューニングとアダプタ技術を統合した軽量CLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-15T06:14:55Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。