論文の概要: On associative neural networks for sparse patterns with huge capacities

• arxiv url: http://arxiv.org/abs/2603.26217v1
• Date: Fri, 27 Mar 2026 09:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.425493
• Title: On associative neural networks for sparse patterns with huge capacities
• Title（参考訳）: 大容量スパースパターンの連想ニューラルネットワークについて
• Authors: Matthias Löwe, Franck Vermet,
• Abstract要約: 本稿では,スパース連想記憶モデルの高次バージョンを導入し,その記憶能力について検討する。 固定的な相互作用順序$n$の場合、システムサイズにおける順序の記憶能力を得る。 相互作用の順序がニューロンの数と対数的に増加すると、これはスーパーポリノミウムの容量をもたらす。
• 参考スコア（独自算出の注目度）: 2.3920356798957436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalized Hopfield models with higher-order or exponential interaction terms are known to have substantially larger storage capacities than the classical quadratic model. On the other hand, associative memories for sparse patterns, such as the Willshaw and Amari models, already outperform the classical Hopfield model in the sparse regime. In this paper we combine these two mechanisms. We introduce higher-order versions of sparse associative memory models and study their storage capacities. For fixed interaction order $n$, we obtain storage capacities of polynomial order in the system size. When the interaction order is allowed to grow logarithmically with the number of neurons, this yields super-polynomial capacities. We also discuss an analogue in the Gripon--Berrou architecture which was formulated for non-sparse messages (see \cite{griponc}). Our results show that the capacity increase caused by higher-order interactions persists in the sparse setting, although the precise storage scale depends on the underlying architecture.
• Abstract（参考訳）: 高次あるいは指数的な相互作用項を持つ一般化ホップフィールドモデルは、古典的二次モデルよりもはるかに大きな記憶容量を持つことが知られている。 一方、ウィルショーやアマリのようなスパース・パターンの連想記憶は、スパース・レシエーションにおいて古典的なホプフィールド・モデルよりも優れていた。 本稿ではこれら2つのメカニズムを組み合わせる。 本稿では,スパース連想記憶モデルの高次バージョンを導入し,その記憶能力について検討する。 固定的な相互作用順序$n$に対して、システムサイズにおける多項式順序の記憶容量を得る。 相互作用の順序がニューロンの数と対数的に増加すると、これはスーパーポリノミウムの容量をもたらす。 また、非スパースメッセージに対して定式化されたGripon--Berrouアーキテクチャの類似性についても論じる(『cite{griponc}』参照)。 以上の結果から,高次相互作用によるキャパシティの増大はスパース設定では持続するが,正確なストレージスケールは基礎となるアーキテクチャに依存していることがわかった。

関連論文リスト

• Neural Computation Without Slots: Steps Towards Biologically Plausible Memory and Attention in Natural and Artificial Intelligence [6.565964309624722]
  我々は、個々のニューロンの接続重みのパターンを格納するホップフィールドネットワーク上に構築する。 記憶のために、神経科学の研究は、ニューロンのスパースアンサンブルの重みがメモリを保存するために使われることを示唆している。 現代言語モデルにおけるスロットベースメモリの強力な利用について考察する。
  論文  参考訳（メタデータ） (2025-11-06T17:49:33Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Expansion Span: Combining Fading Memory and Retrieval in Hybrid State Space Models [59.607021334350385]
  本研究では,過去から任意の距離から取得したトークンのアテンションコンテキストの一部を「保存」することにより,ハイブリッド状態のメモリ幅を拡大する手法を提案する。 この限定されたトークンを"Expansion span"と呼び、それを取得して集約するメカニズムを"Span-Expanded Attention"(SE-Attn)と呼びます。 また,SE-Attnにより,事前学習用モデルよりも最大8倍長のトークン列上で,事前学習型ハイブリッドモデルを効率的に適用できることを示す。
  論文  参考訳（メタデータ） (2024-12-17T20:55:42Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
  Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:10:57Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Long Sequence Hopfield Memory [32.28395813801847]
  シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。 非線形相互作用項を導入し、パターン間の分離を強化する。 このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
  論文  参考訳（メタデータ） (2023-06-07T15:41:03Z)
• Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models [41.58529335439799]
  本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。 これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
  論文  参考訳（メタデータ） (2022-02-09T16:48:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。