論文の概要: Advancing Prompt-Based Methods for Replay-Independent General Continual Learning

• arxiv url: http://arxiv.org/abs/2503.00677v1
• Date: Sun, 02 Mar 2025 00:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:19:00.768422
• Title: Advancing Prompt-Based Methods for Replay-Independent General Continual Learning
• Title（参考訳）: Replay-Independent General Continual LearningのためのPrompt-based法の改良
• Authors: Zhiqi Kang, Liyuan Wang, Xingxing Zhang, Karteek Alahari,
• Abstract要約: 一般連続学習(GCL)は、現実世界の連続学習(CL)問題を記述するための幅広い概念である。 このような要求は、初期性能の低下、限定的な一般化可能性、深刻な破滅的な忘れ込みをもたらす。 本稿では,MISA (Mask and Initial Session Adaption) という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 44.94466949172424
• License:
• Abstract: General continual learning (GCL) is a broad concept to describe real-world continual learning (CL) problems, which are often characterized by online data streams without distinct transitions between tasks, i.e., blurry task boundaries. Such requirements result in poor initial performance, limited generalizability, and severe catastrophic forgetting, heavily impacting the effectiveness of mainstream GCL models trained from scratch. While the use of a frozen pretrained backbone with appropriate prompt tuning can partially address these challenges, such prompt-based methods remain suboptimal for CL of remaining tunable parameters on the fly. In this regard, we propose an innovative approach named MISA (Mask and Initial Session Adaption) to advance prompt-based methods in GCL. It includes a forgetting-aware initial session adaption that employs pretraining data to initialize prompt parameters and improve generalizability, as well as a non-parametric logit mask of the output layers to mitigate catastrophic forgetting. Empirical results demonstrate substantial performance gains of our approach compared to recent competitors, especially without a replay buffer (e.g., up to 18.39%, 22.06%, and 11.96% performance lead on CIFAR-100, Tiny-ImageNet, and ImageNet-R, respectively). Moreover, our approach features the plug-in nature for prompt-based methods, independence of replay, ease of implementation, and avoidance of CL-relevant hyperparameters, serving as a strong baseline for GCL research. Our source code is publicly available at https://github.com/kangzhiq/MISA
• Abstract（参考訳）: 一般的な連続学習(英: General continual learning, GCL)は、現実の連続学習(en:continuous learning, CL)問題を記述するための広義の概念である。 このような要求は、初期性能の低下、限定的な一般化性、深刻な破滅的な忘れ込みをもたらし、スクラッチから訓練された主流のGCLモデルの有効性に大きな影響を及ぼす。 適切なプロンプトチューニングを備えたフリーズされたバックボーンの使用はこれらの課題に部分的に対処できるが、このようなプロンプトベースの手法は、オンザフライで調整可能なパラメータのCLに最適である。 本稿では,MISA (Mask and Initial Session Adaption) という新しい手法を提案する。 それは、プリトレーニングデータを利用してプロンプトパラメータを初期化し、一般化性を向上させる、忘れた初期セッション適応と、破滅的な忘れを緩和する出力層の非パラメトリックロジットマスクを含む。 特にリプレイバッファなしでは(例えば、CIFAR-100、Tiny-ImageNet、ImageNet-Rでそれぞれ18.39%、22.06%、11.96%のパフォーマンスリード)。 さらに,本手法は,プロンプトベースの手法,リプレイの独立性,実装の容易さ,CL関連ハイパーパラメータの回避といったプラグイン特性を特徴とし,GCL研究の強力なベースラインとして機能する。 私たちのソースコードはhttps://github.com/kangzhiq/MISAで公開されています。

関連論文リスト

• Fishing For Cheap And Efficient Pruners At Initialization [4.433137726540548]
  Pruningは、大規模ディープニューラルネットワーク(DNN)のデプロイに伴うコストと環境への影響を軽減する、有望なソリューションを提供する。 本稿では,Fisher-Taylor Sensitivity (FTS)について紹介する。これは,経験的Fisher Information Matrix (FIM) 対角線に基づく,安価で効率的なプルーニング基準である。 提案手法は, 極端間隔条件下であっても, ワンショットPSTの最先端技術に対する競合性能を実現する。
  論文  参考訳（メタデータ） (2025-02-17T05:22:23Z)
• TS-ACL: A Time Series Analytic Continual Learning Framework for Privacy-Preserving and Class-Incremental Pattern Recognition [14.108911377558242]
  TS-ACLは、プライバシー保護とクラスインクリメンタルパターン認識のための新しいフレームワークである。 モデルの各更新は、クローズドフォームのソリューションで、勾配のない分析学習プロセスに変換される。 同時に、非鍛造、プライバシー保護、軽量消費を実現し、様々なアプリケーションに広く適合する。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Continual Learning with Dynamic Sparse Training: Exploring Algorithms for Effective Model Updates [13.983410740333788]
  連続学習(英: Continual Learning, CL)とは、知的なシステムが、可能な限り計算オーバーヘッドの少ないデータストリームから、逐次的に知識を取得し、保持する能力である。 ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、これらのスパースネットワークを見つけ、タスクごとに分離する方法である。 本論文は,CLパラダイムの下で異なるDST成分の効果を検証した最初の実証的研究である。
  論文  参考訳（メタデータ） (2023-08-28T18:31:09Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection [59.77647907277523]
  敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。 ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。 本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:20:14Z)
• GCR: Gradient Coreset Based Replay Buffer Selection For Continual Learning [1.911678487931003]
  調査対象のオフライン学習環境において,最先端の学習に比べて有意な増加(2%～4%)を示した。 また、オンライン/ストリーミングのCL設定にも効果的に移行し、既存のアプローチよりも最大5%向上しました。
  論文  参考訳（メタデータ） (2021-11-18T18:01:57Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。