論文の概要: Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling

• arxiv url: http://arxiv.org/abs/2209.05245v1
• Date: Fri, 9 Sep 2022 13:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 12:20:54.702106
• Title: Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling
• Title（参考訳）: 複数の睡眠メカニズムによる継続的学習のメリット:nrem、rem、シナプスダウンスケーリング
• Authors: Brian S. Robinson, Clare W. Lau, Alexander New, Shane M. Nichols, Erik C. Johnson, Michael Wolmetz, and William G. Coon
• Abstract要約: 先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。 本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
• 参考スコア（独自算出の注目度）: 51.316408685035526
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning new tasks and skills in succession without losing prior learning (i.e., catastrophic forgetting) is a computational challenge for both artificial and biological neural networks, yet artificial systems struggle to achieve parity with their biological analogues. Mammalian brains employ numerous neural operations in support of continual learning during sleep. These are ripe for artificial adaptation. Here, we investigate how modeling three distinct components of mammalian sleep together affects continual learning in artificial neural networks: (1) a veridical memory replay process observed during non-rapid eye movement (NREM) sleep; (2) a generative memory replay process linked to REM sleep; and (3) a synaptic downscaling process which has been proposed to tune signal-to-noise ratios and support neural upkeep. We find benefits from the inclusion of all three sleep components when evaluating performance on a continual learning CIFAR-100 image classification benchmark. Maximum accuracy improved during training and catastrophic forgetting was reduced during later tasks. While some catastrophic forgetting persisted over the course of network training, higher levels of synaptic downscaling lead to better retention of early tasks and further facilitated the recovery of early task accuracy during subsequent training. One key takeaway is that there is a trade-off at hand when considering the level of synaptic downscaling to use - more aggressive downscaling better protects early tasks, but less downscaling enhances the ability to learn new tasks. Intermediate levels can strike a balance with the highest overall accuracies during training. Overall, our results both provide insight into how to adapt sleep components to enhance artificial continual learning systems and highlight areas for future neuroscientific sleep research to further such systems.
• Abstract（参考訳）: 先行学習を失うことなく新しいタスクやスキルを学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって計算上の課題であるが、人工システムは生物学的な類似物と同等性を達成するのに苦労している。 哺乳類の脳は、睡眠中の継続的な学習を支援するために多くの神経操作を用いる。 これらは人工適応のための熟成である。 本稿では, 哺乳類睡眠の3つの異なる成分が人工ニューラルネットワークの連続学習にどのように影響するかを検討する。(1)非ラピッドアイムーブメント(NREM)睡眠中に観察される検証的記憶再生過程, (2)REM睡眠に関連する生成的記憶再生過程, 3)信号-ノイズ比を調整し, ニューラルアップキープをサポートするためのシナプスダウンスケーリングプロセス。 連続学習型CIFAR-100画像分類ベンチマークの性能評価において、3つの睡眠成分を全て含んでいることによる利点を見出した。 訓練中は最大精度が向上し,その後は破滅的忘れ込みが軽減された。 ネットワークトレーニングの過程で壊滅的な忘れが続く一方で、シナプスダウンスケーリングのレベルが高まり、初期のタスクの保持が向上し、その後のトレーニングで初期のタスク精度の回復が促進された。 ひとつ重要な点は、より積極的なダウンスケーリングを使用するためのシナプス的なダウンスケーリングのレベルが早期タスクをよりよく保護する一方で、ダウンスケーリングの少ないことで新しいタスクを学ぶ能力が向上する、という点だ。 中間レベルは、トレーニング中に最も高い確率でバランスをとることができる。 以上の結果から, 人工連続学習システムに睡眠成分を適応させる方法についての知見が得られ, 今後の神経科学睡眠研究の分野に注目する。

関連論文リスト

• TACOS: Task Agnostic Continual Learning in Spiking Neural Networks [1.703671463296347]
  破滅的な干渉は、新しい情報を学ぶ際に学習した情報が失われることであり、機械学習において依然として大きな課題である。 本研究では, シナプス結合やメタ可塑性などの神経誘発機構が, スパイク神経ネットワークにおける破滅的干渉を緩和することを示した。 我々のモデルであるTACOSは、神経変調と複雑なシナプス力学を組み合わせることで、以前の情報を保護しながら新しい学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-16T15:42:16Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Wake-Sleep Consolidated Learning [9.596781985154927]
  視覚分類タスクにおける深層ニューラルネットワークの性能向上を目的としたWake-Sleep Consolidated Learningを提案する。 本手法は、異なる覚醒相と睡眠相の同期を通して連続的に学習する。 提案手法の有効性を3つのベンチマークデータセットで評価した。
  論文  参考訳（メタデータ） (2023-12-06T18:15:08Z)
• Learning with Chemical versus Electrical Synapses -- Does it Make a Difference? [61.85704286298537]
  バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。 我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
  論文  参考訳（メタデータ） (2023-11-21T13:07:20Z)
• SI-SD: Sleep Interpreter through awake-guided cross-subject Semantic Decoding [5.283755248013948]
  我々は、新しい認知神経科学実験を設計し、覚醒と睡眠の間に134人の被験者から、包括的、十分に注意された脳波(EEG)データセットを収集した。 我々は、覚醒と睡眠の間のニューラル潜伏シーケンスの位置ワイドアライメントにより、睡眠意味のデコーディングを強化するSI-SDを開発した。
  論文  参考訳（メタデータ） (2023-09-28T14:06:34Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Learning offline: memory replay in biological and artificial reinforcement learning [1.0136215038345011]
  神経科学・AI分野におけるリプレイの機能的役割を概観する。 リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。 また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
  論文  参考訳（メタデータ） (2021-09-21T08:57:19Z)
• Association: Remind Your GAN not to Forget [11.653696510515807]
  本稿では,連想学習過程を模倣して連続学習を実現する脳様アプローチを提案する。 画像から画像への翻訳作業における破滅的忘れを緩和する手法の有効性を実験により実証した。
  論文  参考訳（メタデータ） (2020-11-27T04:43:15Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。