論文の概要: Replay in Deep Learning: Current Approaches and Missing Biological Elements

• arxiv url: http://arxiv.org/abs/2104.04132v2
• Date: Fri, 28 May 2021 21:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 21:54:01.569360
• Title: Replay in Deep Learning: Current Approaches and Missing Biological Elements
• Title（参考訳）: 深層学習におけるリプレイの現状と生物的要素の欠如
• Authors: Tyler L. Hayes, Giri P. Krishnan, Maxim Bazhenov, Hava T. Siegelmann, Terrence J. Sejnowski, Christopher Kanan
• Abstract要約: リプレイは1つ以上の神経パターンの再活性化である。 記憶形成、検索、統合において重要な役割を果たしていると考えられている。 哺乳類の脳におけるリプレイと人工神経ネットワークにおけるリプレイの総合比較を行った。
• 参考スコア（独自算出の注目度）: 33.20770284464084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Replay is the reactivation of one or more neural patterns, which are similar to the activation patterns experienced during past waking experiences. Replay was first observed in biological neural networks during sleep, and it is now thought to play a critical role in memory formation, retrieval, and consolidation. Replay-like mechanisms have been incorporated into deep artificial neural networks that learn over time to avoid catastrophic forgetting of previous knowledge. Replay algorithms have been successfully used in a wide range of deep learning methods within supervised, unsupervised, and reinforcement learning paradigms. In this paper, we provide the first comprehensive comparison between replay in the mammalian brain and replay in artificial neural networks. We identify multiple aspects of biological replay that are missing in deep learning systems and hypothesize how they could be utilized to improve artificial neural networks.
• Abstract（参考訳）: リプレイは1つ以上の神経パターンの再活性化であり、過去の覚醒経験で経験した活性化パターンに似ている。 リプレイは、睡眠中に生体神経ネットワークで最初に観察され、記憶形成、検索、統合において重要な役割を果たすと考えられている。 リプレイのようなメカニズムは、過去の知識の破滅的な忘れ物を避けるために、時間とともに学習する深層人工ニューラルネットワークに組み込まれている。 リプレイアルゴリズムは、教師付き、教師なし、強化された学習パラダイム内で、幅広いディープラーニング手法でうまく使われている。 本稿では,哺乳類の脳におけるリプレイと人工ニューラルネットワークにおけるリプレイの総合比較を行った。 深層学習システムに欠けている生物再生の複数の側面を特定し、それらをニューラルネットワークを改善するためにどのように活用できるかを仮定する。

関連論文リスト

• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Brain-Like Replay Naturally Emerges in Reinforcement Learning Agents [4.603243771244471]
  我々は、繰り返しニューラルネットワークに基づく強化学習モデルを用いて、タスク最適化パラダイムの下で自然に創発的なリプレイを発見する。 私たちの仕事は、リプレイの背後にあるメカニズムを理解するための新しい道を提供する。
  論文  参考訳（メタデータ） (2024-02-02T14:55:51Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling [51.316408685035526]
  先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。 本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-09-09T13:45:27Z)
• Memory-enriched computation and learning in spiking neural networks through Hebbian plasticity [9.453554184019108]
  ヘビアン可塑性は生物学的記憶において重要な役割を担っていると考えられている。 本稿では,ヘビーンのシナプス可塑性に富む新しいスパイクニューラルネットワークアーキテクチャを提案する。 ヘビーンの豊かさは、ニューラルネットワークの計算能力と学習能力の点で驚くほど多彩であることを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:48:37Z)
• Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks [0.0]
  人工ニューラルネットワークを用いた分類における潜在空間ベースのメモリリプレイの適用について検討する。 圧縮された潜在空間バージョンに、元のデータのごく一部だけを格納することで、従来のタスクの優れたパフォーマンスを維持できる。
  論文  参考訳（メタデータ） (2021-11-26T02:47:51Z)
• Learning offline: memory replay in biological and artificial reinforcement learning [1.0136215038345011]
  神経科学・AI分野におけるリプレイの機能的役割を概観する。 リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。 また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
  論文  参考訳（メタデータ） (2021-09-21T08:57:19Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
  連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。 生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。 連続学習には非常に有望な手法であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T13:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。