論文の概要: Redundancy Maximization as a Principle of Associative Memory Learning

• arxiv url: http://arxiv.org/abs/2511.02584v1
• Date: Tue, 04 Nov 2025 14:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:06.062096
• Title: Redundancy Maximization as a Principle of Associative Memory Learning
• Title（参考訳）: 連想記憶学習の原理としての冗長性最大化
• Authors: Mark Blümel, Andreas C. Schneider, Valentin Neuhaus, David A. Ehrlich, Marcel Graetz, Michael Wibral, Abdullah Makkeh, Viola Priesemann,
• Abstract要約: ホップフィールドネットワークによって伝統的にモデル化された連想記憶は、以前に記憶されていたパターンの検索を可能にする。 情報理論の最近の拡張 -部分分解(PID)- 記憶容量以下では、ニューロンの活動の情報は高い冗長性によって特徴づけられる。
• 参考スコア（独自算出の注目度）: 2.0950316641796225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Associative memory, traditionally modeled by Hopfield networks, enables the retrieval of previously stored patterns from partial or noisy cues. Yet, the local computational principles which are required to enable this function remain incompletely understood. To formally characterize the local information processing in such systems, we employ a recent extension of information theory - Partial Information Decomposition (PID). PID decomposes the contribution of different inputs to an output into unique information from each input, redundant information across inputs, and synergistic information that emerges from combining different inputs. Applying this framework to individual neurons in classical Hopfield networks we find that below the memory capacity, the information in a neuron's activity is characterized by high redundancy between the external pattern input and the internal recurrent input, while synergy and unique information are close to zero until the memory capacity is surpassed and performance drops steeply. Inspired by this observation, we use redundancy as an information-theoretic learning goal, which is directly optimized for each neuron, dramatically increasing the network's memory capacity to 1.59, a more than tenfold improvement over the 0.14 capacity of classical Hopfield networks and even outperforming recent state-of-the-art implementations of Hopfield networks. Ultimately, this work establishes redundancy maximization as a new design principle for associative memories and opens pathways for new associative memory models based on information-theoretic goals.
• Abstract（参考訳）: ホップフィールドネットワークによって伝統的にモデル化された連想記憶は、部分的またはノイズの多いキューから予め格納されたパターンを検索することができる。 しかし、この関数を有効にするために必要とされる局所的な計算原理は、いまだに完全に理解されていない。 このようなシステムにおいて,局所的な情報処理を形式的に特徴付けるために,情報理論の最近の拡張である部分的情報分解(PID)を用いる。 PIDは出力に対する異なる入力の寄与を、各入力からのユニークな情報、入力間の冗長な情報、異なる入力の組み合わせから生じる相乗的情報に分解する。 この枠組みを古典ホップフィールドネットワークの個々のニューロンに適用すると、記憶容量以下では、ニューロンの活動の情報は外部パターン入力と内部リカレント入力との間の高い冗長性によって特徴づけられる。 この観測から着想を得た冗長性は,各ニューロンに対して直接最適化された情報理論学習目標として利用され,ネットワークのメモリ容量が1.59に劇的に増加し,従来のホップフィールドネットワークの0.14キャパシティよりも10倍以上改善され,さらには最近のホップフィールドネットワークの最先端実装よりも向上した。 最終的に、この研究は、連想記憶の新しい設計原則として冗長性の最大化を確立し、情報理論の目標に基づいた新しい連想記憶モデルのための経路を開く。

関連論文リスト

• A Neural Network Model of Complementary Learning Systems: Pattern Separation and Completion for Continual Learning [2.9123921488295768]
  事前知識を忘れずに新しい情報を学ぶことは、人間の知性の中心である。 対照的に、ニューラルネットワークモデルは、新しい情報を取得する際に破滅的な忘れに苦しむ。 我々は、最先端の精度(90%)に近づいた、神経学的にもっともらしい連続学習モデルを開発する。 本研究は, 生体および人工システムにおいて, メモリ統合, 一般化, 継続学習をモデル化するための機能テンプレートを提供する。
  論文  参考訳（メタデータ） (2025-07-15T15:05:26Z)
• Latent Structured Hopfield Network for Semantic Association and Retrieval [52.634915010996835]
  エピソード記憶は、オブジェクト、場所、時間などの意味的要素をコヒーレントなイベント表現に関連付けることによって、過去の経験を思い出すことができる。 本稿では,連続ホップフィールドアトラクタダイナミクスを自動エンコーダアーキテクチャに統合するフレームワークであるLatent Structured Hopfield Network (LSHN)を提案する。 従来のホップフィールドネットワークとは異なり、我々のモデルは勾配勾配でエンドツーエンドに訓練され、スケーラブルで堅牢なメモリ検索を実現する。
  論文  参考訳（メタデータ） (2025-06-02T04:24:36Z)
• Modern Hopfield Networks with Continuous-Time Memories [19.616624959353697]
  本稿では,大規模な離散ホップフィールドメモリを小さな連続記憶に圧縮する手法を提案する。 作業記憶における連続的資源割り当ての心理学的理論に着想を得て,大規模な離散ホップフィールド記憶を小さな連続記憶に圧縮する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-14T12:41:05Z)
• Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
  Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:10:57Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
  本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
  論文  参考訳（メタデータ） (2020-08-17T23:39:33Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。