論文の概要: SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning with Pre-Trained Models

• arxiv url: http://arxiv.org/abs/2411.02175v1
• Date: Mon, 04 Nov 2024 15:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:58.889619
• Title: SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning with Pre-Trained Models
• Title（参考訳）: SAFE:事前学習モデルによる連続学習のためのスローかつ高速なパラメータ効率チューニング
• Authors: Linglan Zhao, Xuerui Zhang, Ke Yan, Shouhong Ding, Weiran Huang,
• Abstract要約: 継続的な学習は、過去の知識を忘れることに抵抗しながら、データストリームにおける新しい概念を漸進的に獲得することを目的としている。 強力な事前学習モデル(PTM)の台頭に伴い、インクリメンタル学習システムのトレーニングへの関心が高まっている。
• 参考スコア（独自算出の注目度）: 26.484208658326857
• License:
• Abstract: Continual learning aims to incrementally acquire new concepts in data streams while resisting forgetting previous knowledge. With the rise of powerful pre-trained models (PTMs), there is a growing interest in training incremental learning systems using these foundation models, rather than learning from scratch. Existing works often view PTMs as a strong initial point and directly apply parameter-efficient tuning (PET) in the first session for adapting to downstream tasks. In the following sessions, most methods freeze model parameters for tackling forgetting issues. However, applying PET directly to downstream data cannot fully explore the inherent knowledge in PTMs. Additionally, freezing the parameters in incremental sessions hinders models' plasticity to novel concepts not covered in the first session. To solve the above issues, we propose a Slow And Fast parameter-Efficient tuning (SAFE) framework. In particular, to inherit general knowledge from foundation models, we include a transfer loss function by measuring the correlation between the PTM and the PET-applied model. After calibrating in the first session, the slow efficient tuning parameters can capture more informative features, improving generalization to incoming classes. Moreover, to further incorporate novel concepts, we strike a balance between stability and plasticity by fixing slow efficient tuning parameters and continuously updating the fast ones. Specifically, a cross-classification loss with feature alignment is proposed to circumvent catastrophic forgetting. During inference, we introduce an entropy-based aggregation strategy to dynamically utilize the complementarity in the slow and fast learners. Extensive experiments on seven benchmark datasets verify the effectiveness of our method by significantly surpassing the state-of-the-art.
• Abstract（参考訳）: 継続的な学習は、過去の知識を忘れることに抵抗しながら、データストリームにおける新しい概念を漸進的に獲得することを目的としている。 強力な事前学習モデル(PTM)の台頭に伴い、スクラッチから学ぶのではなく、これらの基礎モデルを使用して漸進的な学習システムを訓練することへの関心が高まっている。 既存の作業では、PTMを強力な初期点とみなし、下流タスクに適応するために、最初のセッションでパラメータ係数チューニング(PET)を直接適用することが多い。 次のセッションでは、ほとんどのメソッドが問題に対処するためのモデルパラメータを凍結する。 しかし、PETを直接下流データに適用することは、PTMの固有の知識を十分に探求することはできない。 さらに、インクリメンタルセッションにおけるパラメータの凍結は、最初のセッションではカバーされない新しい概念に対するモデルの可塑性を妨げる。 上記の課題を解決するために,Slow And Fastパラメータ効率チューニング(SAFE)フレームワークを提案する。 特に,基礎モデルから一般知識を継承するために,PTMとPET適用モデルとの相関を計測し,伝達損失関数を含む。 最初のセッションで校正した後、遅い効率のよいチューニングパラメータはより情報的な特徴を捉え、着信クラスへの一般化を改善します。 さらに、新しい概念をさらに取り入れるために、遅い効率なチューニングパラメータを固定し、高速なパラメータを継続的に更新することで、安定性と可塑性のバランスをとる。 具体的には、破滅的な忘れを回避すべく、特徴アライメントを伴うクロスクラス化損失を提案する。 推論の過程では,遅い学習者や速い学習者の相補性を動的に活用するためのエントロピーに基づく集約戦略を導入する。 7つのベンチマークデータセットの大規模な実験は、最先端のデータを著しく超えることによって、我々の手法の有効性を検証する。

関連論文リスト

• Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
  事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。 本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T05:19:09Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• FeTT: Continual Class Incremental Learning via Feature Transformation Tuning [19.765229703131876]
  継続的学習(CL)は、静的で囲われた環境から動的で複雑なシナリオまで、ディープモデルを拡張することを目的としている。 最近のCLモデルは、パラメータ効率の良い微調整戦略を持つ事前学習モデルの利用に徐々に移行している。 本稿では,すべてのタスクにまたがる非パラメトリック微調整バックボーン機能に対するFeTTモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-20T06:33:50Z)
• InfLoRA: Interference-Free Low-Rank Adaptation for Continual Learning [12.004172212239848]
  連続学習では、複数のタスクを逐次学習する必要がある。 本研究では,連続学習のための干渉のない低ランク適応(InfLoRA)と呼ばれる新しいPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-03-30T03:16:37Z)
• Rethinking Class-incremental Learning in the Era of Large Pre-trained Models via Test-Time Adaptation [20.62749699589017]
  クラス増分学習(クラス増分学習、class-incremental learning、CIL)は、クラスを新しいタスクから分類する逐次学習を伴う課題である。 本稿では,最初のタスクでアダプタを用いてPTMを微調整するTTACIL(Test-Time Adaptation for Class-Incremental Learning)を提案する。 私たちのTTACILは、PTMの豊富な機能によって各タスクの恩恵を受けながら、一切忘れることはありません。
  論文  参考訳（メタデータ） (2023-10-17T13:06:39Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。