論文の概要: Teaching AI to Remember: Insights from Brain-Inspired Replay in Continual Learning

• arxiv url: http://arxiv.org/abs/2509.00047v1
• Date: Sun, 24 Aug 2025 15:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-07 09:10:15.274484
• Title: Teaching AI to Remember: Insights from Brain-Inspired Replay in Continual Learning
• Title（参考訳）: 思い出すためのAIを教える:継続的な学習におけるブレインインスパイアされたリプレイからの洞察
• Authors: Jina Kim,
• Abstract要約: 本稿では,citepbrain_inspired_replay1により提案される内部リプレイ機構について検討する。 内部のリプレイは、学習中の事前経験の潜在表現を再活性化する。 実験の結果,特にシナプス・インテリジェンスと組み合わせた場合,内部リプレイは忘れを著しく軽減することがわかった。
• 参考スコア（独自算出の注目度）: 7.843067454030998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial neural networks (ANNs) continue to face challenges in continual learning, particularly due to catastrophic forgetting, the loss of previously learned knowledge when acquiring new tasks. Inspired by memory consolidation in the human brain, we investigate the internal replay mechanism proposed by~\citep{brain_inspired_replay1}, which reactivates latent representations of prior experiences during learning. As internal replay was identified as the most influential component among the brain-inspired mechanisms in their framework, it serves as the central focus of our in-depth investigation. Using the CIFAR-100 dataset in a class-incremental setting, we evaluate the effectiveness of internal replay, both in isolation and in combination with Synaptic Intelligence (SI). Our experiments show that internal replay significantly mitigates forgetting, especially when paired with SI, but at the cost of reduced initial task accuracy, highlighting a trade-off between memory stability and learning plasticity. Further analyses using log-likelihood distributions, reconstruction errors, silhouette scores, and UMAP projections reveal that internal replay increases representational overlap in latent space, potentially limiting task-specific differentiation. These results underscore the limitations of current brain-inspired methods and suggest future directions for balancing retention and adaptability in continual learning systems.
• Abstract（参考訳）: 人工知能ニューラルネットワーク(ANN)は、特に破滅的な忘れ物、新しいタスクを取得する際に学習した知識が失われることによって、継続的な学習における課題に直面し続けている。 ヒト脳における記憶の強化にインスパイアされ, 学習経験の潜在的表現を活性化させる~\citep{brain_inspired_replay1} が提案する内部リプレイ機構について検討した。 内部リプレイは脳にインスパイアされたメカニズムの中で最も影響力のある要素であると認識されたので、それは我々の詳細な調査の中心となる。 CIFAR-100データセットをクラスインクリメンタルな設定で使用し、分離およびシナプス・インテリジェンス(SI)と組み合わせて内部リプレイの有効性を評価する。 実験の結果、内部リプレイは、特にSIと組み合わせた場合の忘れを著しく軽減するが、初期タスクの精度が低下し、メモリ安定性と学習可塑性のトレードオフが強調される。 ログのような分布、再構成エラー、シルエットスコア、およびUDPプロジェクションを用いたさらなる分析により、内部リプレイは潜在空間における表現上の重複を増大させ、タスク固有の微分を制限する可能性があることが明らかになった。 これらの結果は、現在の脳にインスパイアされた手法の限界を浮き彫りにして、継続学習システムにおける保持と適応性のバランスをとるための今後の方向性を示唆している。

関連論文リスト

• Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning [59.35015431695172]
  本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。 提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
  論文  参考訳（メタデータ） (2025-04-20T19:53:13Z)
• Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning [0.0]
  本稿では, 特徴蒸留と再固化という2つの基本概念からなる新しい枠組みを提案する。 ロバスト・リハーサル(Robust Rehearsal)と名付けられた我々のフレームワークは、継続的な学習システムに固有の破滅的な忘れ込みの課題に対処する。 CIFAR10、CIFAR100、実世界のヘリコプター姿勢データセットで実施された実験は、ロバスト・リハーサルで訓練されたCLモデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-22T21:30:11Z)
• Brain-Like Replay Naturally Emerges in Reinforcement Learning Agents [3.9276584971242303]
  リプレイを生成するモジュール型強化学習モデルを開発した。 この方法で生成されたリプレイがタスクの完了に役立つことを証明します。 我々の設計は複雑な仮定を回避し、タスク最適化パラダイム内で自然にリプレイを可能にする。
  論文  参考訳（メタデータ） (2024-02-02T14:55:51Z)
• Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
  継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。 本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。 この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
  論文  参考訳（メタデータ） (2023-10-06T15:54:12Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Learning Human Cognitive Appraisal Through Reinforcement Memory Unit [63.83306892013521]
  逐次評価タスクにおける人間の認知評価の効果を生かしたリカレントニューラルネットワークのためのメモリ強調機構を提案する。 記憶増強機構を2つの正および負の強化記憶とともに評価状態を含む強化記憶ユニット(RMU)として概念化する。
  論文  参考訳（メタデータ） (2022-08-06T08:56:55Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Learning offline: memory replay in biological and artificial reinforcement learning [1.0136215038345011]
  神経科学・AI分野におけるリプレイの機能的役割を概観する。 リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。 また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
  論文  参考訳（メタデータ） (2021-09-21T08:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。