論文の概要: Continual Learning Beyond Experience Rehearsal and Full Model Surrogates

• arxiv url: http://arxiv.org/abs/2505.21942v1
• Date: Wed, 28 May 2025 03:52:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.403049
• Title: Continual Learning Beyond Experience Rehearsal and Full Model Surrogates
• Title（参考訳）: リハーサルとフルモデルサロゲートを越えた継続的な学習
• Authors: Prashant Bhat, Laurens Niesten, Elahe Arani, Bahram Zonooz,
• Abstract要約: 深層ニューラルネットワークの継続的な学習は依然として重要な課題である。 既存のソリューションは、経験のリハーサルや完全なモデルサロゲートに頼っていることが多い。 本稿では,経験的リハーサルやフルモデルサロゲートの必要性を解消する,スケーラブルなCLアプローチを提案する。
• 参考スコア（独自算出の注目度）: 17.236861687708096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) has remained a significant challenge for deep neural networks as learning new tasks erases previously acquired knowledge, either partially or completely. Existing solutions often rely on experience rehearsal or full model surrogates to mitigate CF. While effective, these approaches introduce substantial memory and computational overhead, limiting their scalability and applicability in real-world scenarios. To address this, we propose SPARC, a scalable CL approach that eliminates the need for experience rehearsal and full-model surrogates. By effectively combining task-specific working memories and task-agnostic semantic memory for cross-task knowledge consolidation, SPARC results in a remarkable parameter efficiency, using only 6% of the parameters required by full-model surrogates. Despite its lightweight design, SPARC achieves superior performance on Seq-TinyImageNet and matches rehearsal-based methods on various CL benchmarks. Additionally, weight re-normalization in the classification layer mitigates task-specific biases, establishing SPARC as a practical and scalable solution for CL under stringent efficiency constraints.
• Abstract（参考訳）: 連続学習(CL)は、新しいタスクの学習が、部分的にも完全にも、以前獲得した知識を消去するので、ディープニューラルネットワークにとって重要な課題であり続けている。 既存のソリューションは、CFを緩和するために経験的なリハーサルや完全なモデルサロゲートに依存しています。 有効ではあるが、これらのアプローチはメモリと計算のオーバーヘッドを大幅に増加させ、現実のシナリオにおけるスケーラビリティと適用性を制限する。 そこで我々は,SPARCを提案する。これはスケーラブルなCLアプローチで,経験的リハーサルやフルモデルサロゲートを必要としない。 タスク固有の作業記憶とタスクに依存しないセマンティックメモリを効果的に組み合わせることで、SPARCは、フルモデルサロゲートが要求するパラメータの6%しか使用せずに、顕著なパラメータ効率が得られる。 軽量な設計にもかかわらず、SPARCはSeq-TinyImageNetで優れたパフォーマンスを達成し、様々なCLベンチマークでリハーサルベースのメソッドにマッチする。 さらに、分類層の重み再正規化はタスク固有のバイアスを緩和し、厳密な効率制約の下でCLの実用的でスケーラブルな解としてSPARCを確立する。

関連論文リスト

• Low-Complexity Inference in Continual Learning via Compressed Knowledge Transfer [5.079602839359523]
  継続学習(CL)は、以前獲得した知識を忘れずに一連のタスクを学習できるモデルを訓練することを目的としている。 近年、大きな事前学習モデルがCLで広く採用されている。 クラス増分学習に適した2つの効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-13T08:07:40Z)
• Continual learning via probabilistic exchangeable sequence modelling [6.269118318460723]
  継続的な学習 (CL) は、過去の経験から有用な情報を保持しながら、継続的に学習し、新しい知識を蓄積する能力である。 本稿では,スケーラブルでトラクタブルなベイズ更新と予測を行う確率的ニューラルプロセスに基づくCLモデルであるCL-Brunoを提案する。
  論文  参考訳（メタデータ） (2025-03-26T17:08:20Z)
• DATA: Decomposed Attention-based Task Adaptation for Rehearsal-Free Continual Learning [22.386864304549285]
  大規模言語モデル(LLM)では、継続的な学習(CL)が現実の要求に適応するために不可欠である。 近年のリハーサルフリー手法では、モデルベースおよび正規化ベースの戦略を用いてこの問題に対処している。 我々は、$textbfD$e $textbfA$ttention-based $textbfTask $textbfA$daptation ( data)を提案する。 データは、ハイランクなタスクアダプタとローランクなタスクアダプタを使用して、タスク固有の知識とタスク共有の知識を明示的に分離し、学習する。
  論文  参考訳（メタデータ） (2025-02-17T06:35:42Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Theory on Mixture-of-Experts in Continual Learning [72.42497633220547]
  継続学習(CL)は、時間とともに現れる新しいタスクに適応する能力のため、大きな注目を集めている。 モデルが新しいタスクに適応するにつれて、(古いタスクの)破滅的な忘れがCLの大きな問題として認識されるようになった。 MoEモデルは近年,ゲーティングネットワークを用いることで,CLの破滅的忘れを効果的に軽減することが示されている。
  論文  参考訳（メタデータ） (2024-06-24T08:29:58Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。