論文の概要: Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2404.14588v1
- Date: Mon, 22 Apr 2024 21:30:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 17:48:00.522002
- Title: Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning
- Title（参考訳）: クラスインクリメンタル学習のためのブレインインスパイアされた連続学習-ロバスト特徴蒸留と再統合
- Authors: Hikmat Khan, Nidhal Carla Bouaynaya, Ghulam Rasool,
- Abstract要約: 本稿では, 特徴蒸留と再固化という2つの基本概念からなる新しい枠組みを提案する。
ロバスト・リハーサル(Robust Rehearsal)と名付けられた我々のフレームワークは、継続的な学習システムに固有の破滅的な忘れ込みの課題に対処する。
CIFAR10、CIFAR100、実世界のヘリコプター姿勢データセットで実施された実験は、ロバスト・リハーサルで訓練されたCLモデルの優れた性能を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence (AI) and neuroscience share a rich history, with advancements in neuroscience shaping the development of AI systems capable of human-like knowledge retention. Leveraging insights from neuroscience and existing research in adversarial and continual learning, we introduce a novel framework comprising two core concepts: feature distillation and re-consolidation. Our framework, named Robust Rehearsal, addresses the challenge of catastrophic forgetting inherent in continual learning (CL) systems by distilling and rehearsing robust features. Inspired by the mammalian brain's memory consolidation process, Robust Rehearsal aims to emulate the rehearsal of distilled experiences during learning tasks. Additionally, it mimics memory re-consolidation, where new experiences influence the integration of past experiences to mitigate forgetting. Extensive experiments conducted on CIFAR10, CIFAR100, and real-world helicopter attitude datasets showcase the superior performance of CL models trained with Robust Rehearsal compared to baseline methods. Furthermore, examining different optimization training objectives-joint, continual, and adversarial learning-we highlight the crucial role of feature learning in model performance. This underscores the significance of rehearsing CL-robust samples in mitigating catastrophic forgetting. In conclusion, aligning CL approaches with neuroscience insights offers promising solutions to the challenge of catastrophic forgetting, paving the way for more robust and human-like AI systems.
- Abstract（参考訳）: 人工知能(AI)と神経科学は、人間のような知識を保持できるAIシステムの開発を形作る神経科学の進歩と共に、豊富な歴史を共有している。
本稿では, ニューロサイエンスの知見と, 対向学習と連続学習の既存研究を活用し, 特徴蒸留と再統合という2つの基本概念からなる新しい枠組みを導入する。
我々のフレームワークであるRobust Rehearsalは、頑健な特徴を蒸留しリハーサルすることによって、継続学習(CL)システムに固有の破滅的な忘れを解くという課題に対処する。
ロバスト・リハーサル(Robust Rehearsal)は、哺乳類の脳の記憶統合プロセスに触発され、学習中に蒸留された経験のリハーサルをエミュレートすることを目的としている。
さらに、メモリ再統合を模倣し、新しいエクスペリエンスが過去のエクスペリエンスの統合に影響を与え、忘れを軽減します。
CIFAR10、CIFAR100、実世界のヘリコプター姿勢データセットで実施された大規模な実験は、ロバスト・リハーサルで訓練されたCLモデルのベースライン法と比較して優れた性能を示した。
さらに, モデル性能における特徴学習の重要な役割を明らかにするために, 異なる最適化学習目標(連帯, 連続, 対向学習)について検討した。
このことは、破滅的な忘れを緩和するCL-robustサンプルのリハーサルの重要性を浮き彫りにする。
結論として、CLアプローチを神経科学の洞察と整合させることは、破滅的な忘れ方、より堅牢で人間らしいAIシステムへの道を開くという課題に対する、有望な解決策を提供する。
関連論文リスト
- Robust Monocular Visual Odometry using Curriculum Learning [1.282543877006303]
本研究は,モノクロビジュアルオドメトリー(VO)推定の難解な幾何学的問題に対処するために,革新的なカリキュラム学習(CL)手法を適用した。
我々は、新しいCLアプローチを統合することにより、エンドツーエンドのDeep-Patch-Visual Odometryフレームワークを強化する。
論文 参考訳（メタデータ） (2024-11-20T16:26:51Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Advancing Brain Imaging Analysis Step-by-step via Progressive Self-paced Learning [0.5840945370755134]
適応型・進行型ペーシング・蒸留機構を応用したPSPD(Progressive Self-Paced Distillation)フレームワークを提案する。
我々は、アルツハイマー病神経画像イニシアチブ(ADNI)データセットを用いて、様々な畳み込みニューラルネットワークにおけるPSPDの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2024-07-23T02:26:04Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Incorporating Neuro-Inspired Adaptability for Continual Learning in
Artificial Intelligence [59.11038175596807]
継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。
既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。
本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
論文 参考訳（メタデータ） (2023-08-29T02:43:58Z) - Improving Performance in Continual Learning Tasks using Bio-Inspired
Architectures [4.2903672492917755]
我々は,シナプスの可塑性機構とニューロ変調を組み込んだ,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。
提案手法により,Split-MNIST,Split-CIFAR-10,Split-CIFAR-100データセット上でのオンライン連続学習性能が向上する。
さらに,鍵設計概念を他のバックプロパゲーションに基づく連続学習アルゴリズムに統合することにより,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-08-08T19:12:52Z) - Lifelong Person Re-Identification via Knowledge Refreshing and
Consolidation [35.43406281230279]
Lifelong person re-identification (LReID)の鍵となる課題は、古い知識を段階的に保存し、徐々に新しい能力をシステムに追加する方法である。
体性感覚性新皮質と海馬が協調して記憶統合を行う人間の認知の生物学的過程に着想を得て,我々は知識リフレッシュ・アンド・コンソリデーション(KRC)と呼ばれるモデルを構築した。
より具体的には、双方向の知識伝達を可能にするための知識リフレッシュ方式に知識リハーサル機構が組み込まれている。
論文 参考訳（メタデータ） (2022-11-29T13:39:45Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳（メタデータ） (2022-10-06T23:50:38Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Mixture-of-Variational-Experts for Continual Learning [0.0]
学習と忘れのトレードオフを促進する最適原理を提案する。
我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。
MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
論文 参考訳（メタデータ） (2021-10-25T06:32:06Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳（メタデータ） (2021-07-10T19:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。