論文の概要: Human-like Forgetting Curves in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2506.12034v2
• Date: Thu, 19 Jun 2025 17:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 14:57:52.315665
• Title: Human-like Forgetting Curves in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるヒューマンライクな鍛造曲線
• Authors: Dylan Kline,
• Abstract要約: この研究は、人工モデルが人間のような忘れ曲線を示すかどうかを調べることによって、認知科学とニューラルネットワークの設計を橋渡しする。 ニューラルネットワークにおける情報保持度を測定するための定量的枠組みを提案する。 提案手法は,ネットワークの現在の隠蔽状態と以前に格納されたプロトタイプ表現との類似性を評価することで,リコール確率を算出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This study bridges cognitive science and neural network design by examining whether artificial models exhibit human-like forgetting curves. Drawing upon Ebbinghaus' seminal work on memory decay and principles of spaced repetition, we propose a quantitative framework to measure information retention in neural networks. Our approach computes the recall probability by evaluating the similarity between a network's current hidden state and previously stored prototype representations. This retention metric facilitates the scheduling of review sessions, thereby mitigating catastrophic forgetting during deployment and enhancing training efficiency by prompting targeted reviews. Our experiments with Multi-Layer Perceptrons reveal human-like forgetting curves, with knowledge becoming increasingly robust through scheduled reviews. This alignment between neural network forgetting curves and established human memory models identifies neural networks as an architecture that naturally emulates human memory decay and can inform state-of-the-art continual learning algorithms.
• Abstract（参考訳）: この研究は、人工モデルが人間のような忘れ曲線を示すかどうかを調べることによって、認知科学とニューラルネットワークの設計を橋渡しする。 記憶の減衰と空間的繰り返しの原理に関するエビングハウスの独創的な研究に基づいて,ニューラルネットワークにおける情報保持を測定するための定量的枠組みを提案する。 提案手法は,ネットワークの現在の隠蔽状態と以前に格納されたプロトタイプ表現との類似性を評価することで,リコール確率を算出する。 この保持基準は、レビューセッションのスケジューリングを容易にし、デプロイメント中の破滅的な忘れを軽減し、ターゲットレビューを促すことにより、トレーニング効率を向上させる。 マルチレイヤ・パーセプトロンを用いた実験では、人間のような忘れ曲線が明らかとなり、定期的なレビューを通じて知識はますます堅牢になる。 曲線を忘れるニューラルネットワークと確立された人間のメモリモデルとのアライメントは、ニューラルネットワークを人間のメモリ減衰を自然にエミュレートし、最先端の継続的学習アルゴリズムを通知するアーキテクチャとして識別する。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Generate and Verify: Semantically Meaningful Formal Analysis of Neural Network Perception Systems [2.2559617939136505]
  ニューラルネットワーク認識システムの精度を評価するためにテストが続けられている。 我々は、モデルが常に基底真理に結びついたある誤差内で推定を生成することを証明するために、ニューラルネットワークの検証を用いる。
  論文  参考訳（メタデータ） (2020-12-16T23:09:53Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。