論文の概要: Memorisation and forgetting in a learning Hopfield neural network: bifurcation mechanisms, attractors and basins

• arxiv url: http://arxiv.org/abs/2508.10765v1
• Date: Thu, 14 Aug 2025 15:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.389677
• Title: Memorisation and forgetting in a learning Hopfield neural network: bifurcation mechanisms, attractors and basins
• Title（参考訳）: 学習ホップフィールドニューラルネットワークにおける記憶と記憶--分岐機構、誘引器、盆地
• Authors: Adam E. Essex, Natalia B. Janson, Rachel A. Norris, Alexander G. Balanov,
• Abstract要約: ヘビアン学習中の81ニューロンホップフィールドネットワークにおける記憶形成機構の解析を行った。 接続重みの発達に影響を及ぼすことにより,応用刺激はピッチフォークを誘導し,サドルノード分岐のカスケードを誘導することを示した。 これにより、真実または刺激的な記憶をコードできる盆地を持つ新たなアトラクションが生成され、古い記憶が突然消滅する。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite explosive expansion of artificial intelligence based on artificial neural networks (ANNs), these are employed as "black boxes'', as it is unclear how, during learning, they form memories or develop unwanted features, including spurious memories and catastrophic forgetting. Much research is available on isolated aspects of learning ANNs, but due to their high dimensionality and non-linearity, their comprehensive analysis remains a challenge. In ANNs, knowledge is thought to reside in connection weights or in attractor basins, but these two paradigms are not linked explicitly. Here we comprehensively analyse mechanisms of memory formation in an 81-neuron Hopfield network undergoing Hebbian learning by revealing bifurcations leading to formation and destruction of attractors and their basin boundaries. We show that, by affecting evolution of connection weights, the applied stimuli induce a pitchfork and then a cascade of saddle-node bifurcations creating new attractors with their basins that can code true or spurious memories, and an abrupt disappearance of old memories (catastrophic forgetting). With successful learning, new categories are represented by the basins of newly born point attractors, and their boundaries by the stable manifolds of new saddles. With this, memorisation and forgetting represent two manifestations of the same mechanism. Our strategy to analyse high-dimensional learning ANNs is universal and applicable to recurrent ANNs of any form. The demonstrated mechanisms of memory formation and of catastrophic forgetting shed light on the operation of a wider class of recurrent ANNs and could aid the development of approaches to mitigate their flaws.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)に基づく人工知能の爆発的な拡張にもかかわらず、これらは「ブラックボックス」として使用される。 ANN学習の独立した側面に関する多くの研究が利用可能であるが、その高次元性と非線形性のため、その包括的な分析は依然として課題である。 ANNでは、知識はコネクテッドウェイトやアトラクター盆地に存在すると考えられているが、これらの2つのパラダイムは明示的にリンクされていない。 本稿では,ヘビアン学習中の81ニューロンホップフィールドネットワークにおける記憶形成機構を包括的に解析し,アトラクタの形成と破壊につながる分岐を明らかにする。 接続重みの進化に影響を与えることにより、応用刺激はピッチフォークを誘導し、サドルノード分岐のカスケードを発生させ、真または刺激的な記憶をコードできる新しいアトラクタを発生させ、古い記憶の突然の消失(破滅的な記憶)を示す。 学習が成功すると、新しいカテゴリーは新しく生まれた点引力の盆地で表され、それらの境界は新しいサドルの安定多様体で表される。 これにより、記憶と忘れは、同じメカニズムの2つの徴候を表す。 高次元学習ANNを解析するための我々の戦略は普遍的であり、任意の形式の繰り返しANNに適用できる。 記憶形成のメカニズムを実証し, 記憶障害を緩和するアプローチの開発に役立てることができると考えられた。

関連論文リスト

• Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning [59.35015431695172]
  本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。 提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
  論文  参考訳（メタデータ） (2025-04-20T19:53:13Z)
• Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
  我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。 大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
  論文  参考訳（メタデータ） (2024-11-26T14:48:25Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• In search of dispersed memories: Generative diffusion models are associative memory networks [6.4322891559626125]
  生成拡散モデル(Generative diffusion model)は、多くのタスクにおいて優れたパフォーマンスを示す生成機械学習技術の一種である。 生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと同一であることを示す。 この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
  論文  参考訳（メタデータ） (2023-09-29T14:48:24Z)
• Topological Continual Learning with Wasserstein Distance and Barycenter [0.0]
  ニューラルネットワークにおける継続的な学習は、破滅的な忘れという現象に悩まされる。 トレーニング中にニューラルネットワークのサイクル構造をペナライズする新しいトポロジカル正規化を提案する。 提案手法は,複数の画像分類データセットに対して,浅層および深層ネットワークアーキテクチャの両方に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T03:46:20Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Learning by Active Forgetting for Neural Networks [36.47528616276579]
  記憶と忘れのメカニズムは、人間の学習記憶システムにおいて、同じコインの2つの側面である。 現代の機械学習システムは、記憶を良くすることで、生涯にわたる学習能力を持つ機械を育むために取り組んできた。 本稿では,ニューラルネットワークを用いた能動的記憶機構による学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-21T14:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。