論文の概要: No Forgetting Learning: Memory-free Continual Learning

• arxiv url: http://arxiv.org/abs/2503.04638v1
• Date: Thu, 06 Mar 2025 17:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:58:43.125879
• Title: No Forgetting Learning: Memory-free Continual Learning
• Title（参考訳）: 学習を忘れる - 記憶のない継続的学習
• Authors: Mohammad Ali Vahedifar, Qi Zhang,
• Abstract要約: この作業では、メモリフリーの継続的学習フレームワークであるNo Forgetting Learning(NFL)を紹介します。 NFLは最先端の手法の約14.75倍のメモリを消費し、競争力を発揮する。
• 参考スコア（独自算出の注目度）: 6.178156190067845
• License:
• Abstract: Continual Learning (CL) remains a central challenge in deep learning, where models must sequentially acquire new knowledge while mitigating Catastrophic Forgetting (CF) of prior tasks. Existing approaches often struggle with efficiency and scalability, requiring extensive memory or model buffers. This work introduces ``No Forgetting Learning" (NFL), a memory-free CL framework that leverages knowledge distillation to maintain stability while preserving plasticity. Memory-free means the NFL does not rely on any memory buffer. Through extensive evaluations of three benchmark datasets, we demonstrate that NFL achieves competitive performance while utilizing approximately 14.75 times less memory than state-of-the-art methods. Furthermore, we introduce a new metric to better assess CL's plasticity-stability trade-off.
• Abstract（参考訳）: 継続学習(CL)はディープラーニングにおいて依然として中心的な課題であり、モデルが先行タスクの破滅的予測(CF)を緩和しながら、新たな知識を逐次取得する必要がある。 既存のアプローチは効率とスケーラビリティに苦しむことが多く、広範なメモリやモデルバッファを必要とする。 この研究は、知識蒸留を利用して可塑性を維持しながら安定性を維持する、メモリフリーなCLフレームワークである‘No Forgetting Learning’(NFL)を紹介している。 メモリフリーとは、NFLがいかなるメモリバッファにも依存しないことを意味する。 3つのベンチマークデータセットの広範な評価を通じて、NFLは最先端の手法よりも約14.75倍少ないメモリを生かしながら、競争性能を達成することを示した。 さらに、CLの可塑性-安定性トレードオフをよりよく評価するための新しい指標を導入する。

関連論文リスト

• Information-Theoretic Dual Memory System for Continual Learning [8.803516528821161]
  我々はITDMS(Information-Theoretic Dual Memory System)と呼ばれる革新的なデュアルメモリシステムを提案する。 このシステムは、一時的および新規なサンプルを保持するように設計された高速メモリバッファと、重要かつ情報的なサンプルを保存するための遅いメモリバッファから構成される。 提案手法は,一連の連続学習実験を通じて厳密に評価され,提案システムの有効性を実証した。
  論文  参考訳（メタデータ） (2025-01-13T15:01:12Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
  TEALは,メモリを例に示す新しい手法である。 TEALは,既存のクラス増分法の平均精度を向上することを示す。
  論文  参考訳（メタデータ） (2024-06-30T12:09:08Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。 実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
  忘れる方法は、継続的な学習に対処しなければならない問題である。 本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-26T18:06:39Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Carousel Memory: Rethinking the Design of Episodic Memory for Continual Learning [19.260402028696916]
  継続的な学習(CL)は、以前のタスクから学んだ知識を忘れずに、連続したタスクストリームから学習することを目的としている。 以前の研究では、新しい非i.d.データから学習しながら、過去の観測されたサンプルのサブセットを格納するエピソードメモリ(EM)を利用している。 メモリとストレージ間のサンプルを効率よく移行させることにより,過去の経験を保存し,忘れを軽減すべく,豊富なストレージを活用することを提案する。
  論文  参考訳（メタデータ） (2021-10-14T11:27:45Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。