論文の概要: Task-Focused Consolidation with Spaced Recall: Making Neural Networks learn like college students

• arxiv url: http://arxiv.org/abs/2507.21109v1
• Date: Thu, 10 Jul 2025 08:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-03 20:19:02.883907
• Title: Task-Focused Consolidation with Spaced Recall: Making Neural Networks learn like college students
• Title（参考訳）: Task-Focused Consolidation with Spaced Recall: ニューラルネットワークを大学生のように学習させる
• Authors: Prital Bamnodkar,
• Abstract要約: 本稿では,Active Recall, Deliberate Practice, Spaced Repetitionといった人間の学習戦略にインスパイアされた,新たな継続的学習手法を提案する。 Task Focused Consolidation with Spaced Recall (TFC-SR) と呼ばれる。 TFC-SRは、Active Recall Probeと呼ばれるメカニズムで、標準的な体験リプレイを強化します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks often suffer from a critical limitation known as Catastrophic Forgetting, where performance on past tasks degrades after learning new ones. This paper introduces a novel continual learning approach inspired by human learning strategies like Active Recall, Deliberate Practice and Spaced Repetition, named Task Focused Consolidation with Spaced Recall (TFC-SR). TFC-SR enhances the standard experience replay with a mechanism we termed the Active Recall Probe. It is a periodic, task-aware evaluation of the model's memory that stabilizes the representations of past knowledge. We test TFC-SR on the Split MNIST and Split CIFAR-100 benchmarks against leading regularization-based and replay-based baselines. Our results show that TFC-SR performs significantly better than these methods. For instance, on the Split CIFAR-100, it achieves a final accuracy of 13.17% compared to standard replay's 7.40%. We demonstrate that this advantage comes from the stabilizing effect of the probe itself, and not from the difference in replay volume. Additionally, we analyze the trade-off between memory size and performance and show that while TFC-SR performs better in memory-constrained environments, higher replay volume is still more effective when available memory is abundant. We conclude that TFC-SR is a robust and efficient approach, highlighting the importance of integrating active memory retrieval mechanisms into continual learning systems.
• Abstract（参考訳）: ディープニューラルネットワークは、新しいタスクを学習した後、過去のタスクのパフォーマンスが低下する、Caastrophic Forgettingとして知られる重要な制限に悩まされることが多い。 本稿では, アクティブリコール, デリバレート・プラクティス, スペースド・リピーションといったヒューマンラーニング戦略に触発された, タスク・フォーカスド・コンソリデーション・ウィズ・スペースド・リコール(TFC-SR)という新たな継続的学習手法を提案する。 TFC-SRは、Active Recall Probeと呼ばれるメカニズムで、標準的な体験リプレイを強化します。 これは、過去の知識の表現を安定化させるモデルメモリの周期的、タスク対応評価である。 スプリットMNISTとスプリットCIFAR-100ベンチマークでTFC-SRを正則化ベースおよびリプレイベースラインに対して試験する。 その結果,TFC-SRはこれらの手法よりも優れていた。 例えば、Split CIFAR-100では、標準リプレイの7.40%に比べて13.17%の最終的な精度を実現している。 この利点は、リプレイボリュームの違いではなく、プローブ自体の安定化効果によるものであることを示す。 さらに、メモリサイズと性能のトレードオフを分析し、TFC-SRはメモリ制約のある環境では性能が良いが、利用可能なメモリが多ければ高い再生量の方が有効であることを示す。 我々は、TFC-SRは堅牢で効率的なアプローチであり、アクティブメモリ検索機構を連続学習システムに統合することの重要性を強調した。

関連論文リスト

• GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay [21.865853486614466]
  汎用サンプルリプレイ(GeRe)は,通常の事前学習テキストを効率的なアンチフォゲッティングに利用するフレームワークである。 我々は,事前コンパイルされた汎用リプレイサンプルの小さな固定セットが,両方の懸念を解決し,全体的な性能を向上しつつ,一般能力を維持できるのに十分であることを示す最初の試みである。
  論文  参考訳（メタデータ） (2025-08-06T17:42:22Z)
• Online Continual Learning via Spiking Neural Networks with Sleep Enhanced Latent Replay [8.108335297331658]
  本稿では,SESLRと呼ばれる新しいオンライン連続学習手法を提案する。 スパイキングニューラルネットワーク(SNN)を用いた睡眠増強潜時リプレイスキームを組み込んだ。 従来の(MNIST, CIFAR10)とニューロモルフィック(NMNIST, CIFAR10-DVS)の両方の実験は、SESLRの有効性を示している。
  論文  参考訳（メタデータ） (2025-06-23T12:22:39Z)
• Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay [1.5267291767316298]
  継続学習は、以前獲得した知識を維持しながら、新しいデータから徐々に知識を取得する。 生成的リプレイ(Replay to Remember(R2R))」を用いた新しい不確実性駆動型教師なし連続学習フレームワークを提案する。 提案手法は,98.13%,73.06%,93.41%,95.18%,59.74%の最先端性能を達成した。
  論文  参考訳（メタデータ） (2025-05-07T20:29:31Z)
• TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
  TEALは,メモリを例に示す新しい手法である。 TEALは,既存のクラス増分法の平均精度を向上することを示す。
  論文  参考訳（メタデータ） (2024-06-30T12:09:08Z)
• EcoTTA: Memory-Efficient Continual Test-time Adaptation via Self-distilled Regularization [71.70414291057332]
  TTAは主にメモリ制限のあるエッジデバイス上で実行される。 長期的な適応は、しばしば破滅的な忘れとエラーの蓄積につながる。 本稿では,凍結したオリジナルネットワークを対象ドメインに適応させる軽量なメタネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T13:05:30Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal [13.075018350152074]
  オンライン連続学習(OCL)は、単一のデータパスで、非定常データストリームからニューラルネットワークを漸進的にトレーニングすることを目的としている。 リハーサルベースの手法は、観測された入力分布を小さなメモリで時間とともに近似し、後にそれを再検討して、忘れることを避ける。 本稿では,バイアスや動的経験的リスク最小化の観点から,メモリ過適合リスクに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2022-09-28T08:43:35Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Convergence Results For Q-Learning With Experience Replay [51.11953997546418]
  コンバージェンスレート保証を行い、リプレイの頻度や回数といった重要なパラメータによってQ-ラーニングのコンバージェンスとどのように比較されるかについて議論する。 また、シンプルなMDPのクラスを導入・分析することで、これを厳格に改善する可能性を示す理論的な証拠も提示する。
  論文  参考訳（メタデータ） (2021-12-08T10:22:49Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• The Effectiveness of Memory Replay in Large Scale Continual Learning [42.67483945072039]
  入力シーケンス内のタスクが分類に制限されず、出力が高次元の大規模環境で連続学習を研究する。 既存のメソッドは通常、入出力ペアのみを再生する。 入力と出力のペアに加えて,中間層の活性化を再現する。
  論文  参考訳（メタデータ） (2020-10-06T01:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。