論文の概要: Phase Kernel Lifts Capacity of Dense Associative Memory

• arxiv url: http://arxiv.org/abs/2610.21493v1
• Date: Thu, 15 Oct 2026 08:31:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.011228
• Title: Phase Kernel Lifts Capacity of Dense Associative Memory
• Title（参考訳）: 位相カーネルは高密度連想メモリの容量を解放する
• Abstract要約: エネルギーランドスケープと検索ダイナミクスを変化させる非線形位相カーネルのクラスを構築する。 これらのカーネルは指数的記憶能力と局所的不動点収束を保っていることを証明している。 その結果, 位相カーネルは高密度連想メモリへの原則的経路を提供することがわかった。
• 参考スコア（独自算出の注目度）: 4.674535220224721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense associative memory underlies modern attention mechanisms; however, Modern Hopfield Networks (MHNs) with linear kernels yield overlapping attractor basins and spurious states under high memory load, limiting their theoretically exponential storage capacity in practice. We construct a class of nonlinear phase kernels that modify the energy landscape and retrieval dynamics, and prove that these kernels preserve exponential storage capacity and local fixed-point convergence under given conditions on kernel smoothness, memory separation, and memory distributions. The framework is instantiated by the Sigmoidal Phase Hopfield Network (S-Hop), which guarantees monotone energy descent and mitigates practical capacity loss. S-Hop has $8.3\times$ and $4\times$ gains in one-step noisy retrieval load over Uniform Hopfield Networks (U-Hop) on CIFAR-10 and TinyImageNet respectively, and reaches a $50\times$ gain in first-failure load for ImageNet. The results demonstrate that phase kernels provide a principled route to robust dense associative memory.
• Abstract（参考訳）: しかし、線形カーネルを持つModern Hopfield Networks (MHNs) は、高いメモリ負荷下でのアトラクタ盆地とスプリアス状態が重なり、理論上指数記憶容量が制限される。 エネルギー景観と検索のダイナミクスを変化させる非線形位相カーネルのクラスを構築し、カーネルの滑らかさ、メモリ分離、メモリ分布に関する所定の条件下で、これらのカーネルが指数的記憶容量と局所的不動点収束を維持することを証明した。 このフレームワークはS-Hop(Sigmoidal Phase Hopfield Network)によってインスタンス化され、単調なエネルギー降下を保証し、実用的なキャパシティ損失を軽減する。 S-Hopは、CIFAR-10およびTinyImageNet上のUniform Hopfield Networks(U-Hop)上の1ステップノイズ検索負荷の8.3\times$と4.3\times$ゲインを持ち、ImageNetのファーストフェイルロードの50\times$ゲインに達する。 その結果, 位相カーネルは高密度連想メモリへの原則的経路を提供することがわかった。

関連論文リスト

• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• Efficient event-driven retrieval in high-capacity kernel Hopfield networks [0.0]
  Kernel Logistic Regression (KLR) Hopfieldネットワークのような高容量の連想メモリモデルは、強力なストレージ能力を示しているが、一般的に計算コストのかかる同期更新に依存している。 適切に調整されたカーネルパラメータでは、逐次更新は同期力学と統計的に区別できないトラジェクトリを示す。 この非同期ネットワークは,古典的限界を超えた静的ランダムパターン機構において,P/N近似30ドルに近い経験的記憶能力を実現する。
  論文  参考訳（メタデータ） (2026-05-07T10:21:18Z)
• Neural Dynamics Self-Attention for Spiking Transformers [59.57278823240336]
  TransformerアーキテクチャによるSNN(Spike Neural Networks)は、エネルギー効率とパフォーマンスのバランスをとるための、有望な経路を提供する。 既存のスパイキングトランスフォーマーは、(i)ニューラルネットワーク(ANN)と(ii)推論時の高メモリオーバーヘッドと比較して、大幅なパフォーマンスギャップがあるという2つの重要な課題に直面している。 本稿では、局所受容野を持つスパイキングニューロンを用いて、メモリ要求を減らしながら注意を計算するLRF-Dynを提案する。
  論文  参考訳（メタデータ） (2026-03-09T12:23:37Z)
• Latent Structured Hopfield Network for Semantic Association and Retrieval [52.634915010996835]
  エピソード記憶は、オブジェクト、場所、時間などの意味的要素をコヒーレントなイベント表現に関連付けることによって、過去の経験を思い出すことができる。 本稿では,連続ホップフィールドアトラクタダイナミクスを自動エンコーダアーキテクチャに統合するフレームワークであるLatent Structured Hopfield Network (LSHN)を提案する。 従来のホップフィールドネットワークとは異なり、我々のモデルは勾配勾配でエンドツーエンドに訓練され、スケーラブルで堅牢なメモリ検索を実現する。
  論文  参考訳（メタデータ） (2025-06-02T04:24:36Z)
• Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models [5.929540708452128]
  本稿では,現代のホップフィールドモデルに対する2段階のメモリ検索ダイナミクスを提案する。 主な貢献は学習可能な特徴写像 $Phi$ であり、ホップフィールドエネルギー関数をカーネル空間に変換する。 記憶されたメモリパターンを学習データとして利用し、現代のホップフィールドモデル全体のメモリ容量を向上させる。
  論文  参考訳（メタデータ） (2024-04-04T23:05:30Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。