論文の概要: Geometric Entropy and Retrieval Phase Transitions in Continuous Thermal Dense Associative Memory
- arxiv url: http://arxiv.org/abs/2604.07401v1
- Date: Wed, 08 Apr 2026 09:21:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.449479
- Title: Geometric Entropy and Retrieval Phase Transitions in Continuous Thermal Dense Associative Memory
- Title（参考訳）: 連続熱密度連想記憶における幾何学的エントロピーと検索相転移
- Authors: Tatiana Petrova, Evgeny Polyachenko, Radu State,
- Abstract要約: 幾何学的制約の下で連続状態を持つ現代のホップフィールドネットワークのメモリ容量について検討する。
指数容量$p = eN$のDense Associative Memory ネットワークに対して熱力学的位相境界を導出する。
- 参考スコア（独自算出の注目度）: 0.9940728137241215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the thermodynamic memory capacity of modern Hopfield networks (Dense Associative Memory models) with continuous states under geometric constraints, extending classical analyses of pairwise associative memory. We derive thermodynamic phase boundaries for Dense Associative Memory networks with exponential capacity $p = e^{αN}$, comparing Gaussian (LSE) and Epanechnikov (LSR) kernels. For continuous neurons on an $N$-sphere, the geometric entropy depends solely on the spherical geometry, not the kernel. In the sharp-kernel regime, the maximum theoretical capacity $α= 0.5$ is achieved at zero temperature; below this threshold, a critical line separates retrieval from a spin-glass phase. The two kernels differ qualitatively in their phase boundary structure: for LSE, the retrieval region extends to arbitrarily high temperatures as $α\to 0$, but interference from spurious patterns is always present. For LSR, the finite support introduces a threshold $α_{\text{th}}$ below which no spurious patterns contribute to the noise floor, producing a qualitatively different retrieval regime in this sub-threshold region. These results advance the theory of high-capacity associative memory and clarify fundamental limits of retrieval robustness in modern attention-like memory architectures.
- Abstract（参考訳）: 本研究では,最近のホップフィールドネットワーク(Dense Associative Memory Model)の熱力学的メモリ容量を,幾何的制約の下で連続状態で研究し,古典的解析によるペアワイズ・アソシエイト・メモリの解析を拡張した。
我々は、指数容量$p = e^{αN}$のDense Associative Memory Networkに対して、ガウス (LSE) とエパネチニコフ (LSR) のカーネルを比較して熱力学的位相境界を求める。
N$-球面上の連続ニューロンの場合、幾何学的エントロピーは核ではなく球面幾何学にのみ依存する。
シャープカーネル状態においては、最大理論容量$α=0.5$はゼロ温度で達成され、このしきい値以下では、臨界線はスピングラス位相から検索を分離する。
2つの核は相境界構造において定性的に異なる: LSEでは、検索領域は任意に高温まで$α\to 0$まで延びるが、スプリアスパターンからの干渉は常に存在する。
LSRでは、以下のしきい値$α_{\text{th}}$を導入し、ノイズフロアに急激なパターンが寄与せず、サブスレッショルド領域で定性的に異なる検索規則を生成する。
これらの結果は、高容量連想メモリの理論を前進させ、現代の注目型メモリアーキテクチャにおける検索堅牢性の基本的な限界を明確にする。
関連論文リスト
- Thermal Robustness of Retrieval in Dense Associative Memories: LSE vs LSR Kernels [0.16921396880325779]
本研究では,2つの連続高密度連想メモリ(DAM)の検索位相境界を,指数関数的な数の記憶パターンを持つ$N$球面上にマッピングする。
一方,LSRカーネルは,任意の温度での検索が完全である有限支持しきい値を示す一方,LSEカーネルは任意の高温での検索を継続する。
論文 参考訳（メタデータ） (2026-03-07T17:06:08Z) - Lowering the temperature of two-dimensional fermionic tensor networks with cluster expansions [0.0]
スズキ・トロッター分解は、厳密な短距離相互作用からなるハミルトニアンを表現する主要な手法である。
クラスター展開を二次元フェルミオン系に拡張し、ギブス状態の射影エンタングルペア作用素(PEPO)近似を構築する。
論文 参考訳（メタデータ） (2026-02-25T16:58:58Z) - When Less is More: Approximating the Quantum Geometric Tensor with Block Structures [43.39839287869652]
ブロック対角量子幾何テンソルを導入し、K-FACのようなブロック構造フィッシャー法に類似したネットワーク層で計量を分割する。
ハイゼンベルクの実験と、J_1$-$J$モデルのフラストレーションは、より高速な収束、低エネルギー、安定性の向上を示している。
論文 参考訳（メタデータ） (2025-10-09T16:44:30Z) - Higher-Order Kuramoto Oscillator Network for Dense Associative Memory [0.0]
本研究では,高次結合により,メモリ容量とシステムサイズとの超線形スケーリングを実現することを示す。
これらの結果は、現在のホプフィールド記憶と倉本同期を橋渡しする。
論文 参考訳（メタデータ） (2025-07-29T16:35:52Z) - High-temperature partition functions and classical simulability of long-range quantum systems [0.0]
熱平衡における長距離スピン系の基本的な性質について検討する。
本研究の主な成果は, 高温における分配関数の異性性の証明である。
論文 参考訳（メタデータ） (2025-04-29T16:17:45Z) - KPZ scaling from the Krylov space [83.88591755871734]
近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。
これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
論文 参考訳（メタデータ） (2024-06-04T20:57:59Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Contrasting pseudo-criticality in the classical two-dimensional
Heisenberg and $\mathrm{RP}^2$ models: zero-temperature phase transition
versus finite-temperature crossover [0.0]
2次元の古典的ハイゼンベルクと$mathrmRP2$モデルを比較する。
ハイゼンベルクモデルでは、有限温度相転移の兆候は見つからない。
MathrmRP2$モデルでは、スケーリング動作の突然の開始を観察する。
論文 参考訳（メタデータ） (2022-02-15T17:35:15Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Dimension-free convergence rates for gradient Langevin dynamics in RKHS [47.198067414691174]
グラディエントランゲヴィンダイナミクス(GLD)とSGLDは近年注目されている。
空間が無限次元空間であるとき、収束解析 GLD と SGLD を提供する。
論文 参考訳（メタデータ） (2020-02-29T17:14:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。