論文の概要: LoRA Subtraction for Drift-Resistant Space in Exemplar-Free Continual Learning

• arxiv url: http://arxiv.org/abs/2503.18985v1
• Date: Sun, 23 Mar 2025 07:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:53:10.626532
• Title: LoRA Subtraction for Drift-Resistant Space in Exemplar-Free Continual Learning
• Title（参考訳）: 連続学習におけるドリフト抵抗空間に対するLoRAサブトラクション
• Authors: Xuan Liu, Xiaobin Chang,
• Abstract要約: 本稿では,機能モデリングや前処理の保存を必要とせず,機能ドリフトを効果的に処理するDrift-Resistant Space(DRS)を提案する。 提案手法は,複数のデータセットにまたがって,特に長いタスクシーケンスに対して,最先端の結果を一貫して達成する。
• 参考スコア（独自算出の注目度）: 5.438329886561997
• License:
• Abstract: In continual learning (CL), catastrophic forgetting often arises due to feature drift. This challenge is particularly prominent in the exemplar-free continual learning (EFCL) setting, where samples from previous tasks cannot be retained, making it difficult to preserve prior knowledge. To address this issue, some EFCL methods aim to identify feature spaces that minimize the impact on previous tasks while accommodating new ones. However, they rely on static features or outdated statistics stored from old tasks, which prevents them from capturing the dynamic evolution of the feature space in CL, leading to performance degradation over time. In this paper, we introduce the Drift-Resistant Space (DRS), which effectively handles feature drifts without requiring explicit feature modeling or the storage of previous tasks. A novel parameter-efficient fine-tuning approach called Low-Rank Adaptation Subtraction (LoRA-) is proposed to develop the DRS. This method subtracts the LoRA weights of old tasks from the initial pre-trained weight before processing new task data to establish the DRS for model training. Therefore, LoRA- enhances stability, improves efficiency, and simplifies implementation. Furthermore, stabilizing feature drifts allows for better plasticity by learning with a triplet loss. Our method consistently achieves state-of-the-art results, especially for long task sequences, across multiple datasets.
• Abstract（参考訳）: 連続学習(CL)では、しばしば特徴の漂流によって破滅的な忘れが生じる。 この課題は、従来のタスクからのサンプルを保持できず、事前の知識の保存が困難であるEFCL(Exemplar-free Continuousal Learning)設定において特に顕著である。 この問題に対処するために、いくつかのEFCLメソッドは、新しいタスクを収容しながら、以前のタスクへの影響を最小限に抑える機能空間を特定することを目的としている。 しかし、それらは古いタスクから格納された静的な機能や時代遅れの統計に依存するため、CLの機能空間の動的な進化をキャプチャできないため、時間の経過とともにパフォーマンスが低下する。 本稿では,Drift-Resistant Space(DRS)を提案する。 ローランド適応サブトラクション (LoRA-) と呼ばれるパラメータ効率の高いファインチューニング手法を提案する。 本手法は,従来のタスクのLoRA重みを初期訓練前の重みから減らし,新しいタスクデータを処理し,モデルトレーニングのためのDSSを確立する。 したがって、LoRA-は安定性を高め、効率を改善し、実装を単純化する。 さらに、機能ドリフトの安定化により、三重項の損失で学習することで、可塑性が向上する。 提案手法は,複数のデータセットにまたがって,特に長いタスクシーケンスに対して,最先端の結果を一貫して達成する。

関連論文リスト

• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Dual Low-Rank Adaptation for Continual Learning with Pre-Trained Models [38.97142043836567]
  継続学習(CL)は、視覚変換器(ViT)が時間とともに新しいタスクを学習できるようにすることを目的としている。 破滅的な忘れ物は いまだに難題です DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• TeFF: Tracking-enhanced Forgetting-free Few-shot 3D LiDAR Semantic Segmentation [10.628870775939161]
  本稿では,LiDARデータの時間的連続性を利用して,現在の数ショットセマンティックセマンティックセマンティクスの限界に対処する。 追跡モデルを用いて、LiDARフレームのシーケンスから擬似地下構造を生成し、新しいクラスで学習するデータセットの能力を向上する。 トレーニング可能なパラメータの数を減らし,新しいクラスへの適応性を向上しつつ,ベースクラス上でのモデル性能を保留するテクニックであるLoRAを取り入れた。
  論文  参考訳（メタデータ） (2024-08-28T09:18:36Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Improving Data-aware and Parameter-aware Robustness for Continual Learning [3.480626767752489]
  本報告では, オフラヤの非効率な取扱いから, この不整合が生じることを解析する。 本稿では,ロバスト連続学習(RCL)手法を提案する。 提案手法は, 堅牢性を効果的に維持し, 新たなSOTA(State-of-the-art)結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T11:21:26Z)
• Overcoming Domain Drift in Online Continual Learning [24.86094018430407]
  オンライン連続学習(OCL)は、機械学習モデルに一連のタスクで新しい知識をオンラインで取得する権限を与える。 OCLは、破滅的な忘れをし、以前のタスクで学んだモデルは、新しいタスクに遭遇したときに実質的に上書きされる、という大きな課題に直面します。 本稿では,古いタスクのドメインを固定し,負の転送効果を低減するための新しいリハーサル戦略であるDrift-Reducing Rehearsal(DRR)を提案する。
  論文  参考訳（メタデータ） (2024-05-15T06:57:18Z)
• InfLoRA: Interference-Free Low-Rank Adaptation for Continual Learning [12.004172212239848]
  連続学習では、複数のタスクを逐次学習する必要がある。 本研究では,連続学習のための干渉のない低ランク適応(InfLoRA)と呼ばれる新しいPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-03-30T03:16:37Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。