論文の概要: Geometric and dynamical analysis of attractor boundaries and storage limits in kernel Hopfield networks

• arxiv url: http://arxiv.org/abs/2605.00366v2
• Date: Fri, 08 May 2026 13:14:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 16:31:22.429192
• Title: Geometric and dynamical analysis of attractor boundaries and storage limits in kernel Hopfield networks
• Title（参考訳）: カーネルホップフィールドネットワークにおけるアトラクタ境界と記憶限界の幾何学的および動的解析
• Abstract要約: 本稿では,KLR学習ホップフィールドネットワークにおけるアトラクタ盆地のグローバルな幾何学と,記憶限界を規定する機構について検討する。 実験により、ネットワークは、P/N近似16ドル付近の効率的な負荷下で、構造化データの安定した検索を維持しながら、ランダムシーケンスのストレージ容量を最大16ドルまで達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-capacity associative memories based on Kernel Logistic Regression (KLR) exhibit strong storage capabilities, but the dynamical and geometric mechanisms underlying their stability remain poorly understood. This paper investigates the global geometry of attractor basins and the mechanisms governing the storage limit in KLR-trained Hopfield networks. We combine empirical evaluations using random sequences and real-world image embeddings (CIFAR-10) with morphing experiments and statistical Signal-to-Noise Ratio (SNR) analysis. Our experiments show that the network achieves a storage capacity for random sequences up to $P/N \approx 16$, while maintaining stable retrieval for structured data at effective loads near $P/N \approx 20$. Morphing analysis indicates that attractors on the "Ridge of Optimization" are separated by sharp, phase-transition-like boundaries, characterized by steep effective potential barriers and critical slowing down. Furthermore, by comparing an SNR analysis with a geometric reference point inspired by Cover's theorem, we show that the practical storage limit is governed primarily not by a lack of geometric separability in the feature space, but by the loss of dynamical stability against crosstalk noise. These findings suggest that KLR networks function as highly localized exemplar-based memories that operate near the onset of dynamical collapse, providing a useful perspective on the design of robust, large-scale retrieval systems.
• Abstract（参考訳）: カーネル・ロジスティック・レグレッション(KLR)に基づく高容量連想記憶は、強い記憶能力を示すが、その安定性の基盤となる動的・幾何学的メカニズムは理解されていない。 本稿では,KLR学習ホップフィールドネットワークにおけるアトラクタ盆地のグローバルな幾何学と,記憶限界を規定する機構について検討する。 ランダムシーケンスと実世界の画像埋め込み(CIFAR-10)を用いた経験的評価と、モーフィング実験と統計的信号対雑音比(SNR)分析を組み合わせる。 実験の結果,ネットワークは最大$P/N \approx 16$までのランダムシーケンスの記憶容量を達成でき,かつ,$P/N \approx 20$に近い効率的な負荷下で構造化データの安定した検索を維持できることがわかった。 モーフィング解析は、「最適化のライダー」の引力は急激な有効ポテンシャル障壁と臨界減速によって特徴付けられる急激な位相遷移のような境界によって分離されることを示している。 さらに,SNR解析をCoverの定理に着想を得た幾何学的基準点と比較することにより,実効的な記憶限界は特徴空間における幾何学的分離性の欠如ではなく,クロストークノイズに対する動的安定性の欠如によって支配されることを示す。 これらの結果から,KLRネットワークは動的崩壊の開始付近で動作し,局所的かつ大規模な検索システムの設計に有用である可能性が示唆された。

関連論文リスト

• Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories [0.0]
  最適高容量メモリ表現は平らなミニマでは形成されず、幾何学的特異点の高度に湾曲した境界で彫刻されていることを示す。 これらの結果は, 平坦なミニマでは最適な高容量メモリ表現は形成されず, 幾何学的特異点の高度に湾曲した境界で動的に彫刻されていることを示唆している。
  論文  参考訳（メタデータ） (2026-09-15T08:27:55Z)
• Robust Auto-associative Memory via Convolutional Restricted Hopfield Networks [0.22940141855172036]
  連想記憶モデルはパターン検索において基本的な役割を果たす。 Modern Hopfield Networks (MHNs) や Predictive Coding Networks (PCNs) といった既存のアプローチでは、ストレージ容量、計算効率、堅牢性のバランスが制限されている。 本稿では、畳み込み特徴抽出とアトラクタベースのメモリ検索を統合した構造化潜在空間における畳み込み制限ホップフィールドネットワーク(CRHN)を提案する。
  論文  参考訳（メタデータ） (2026-06-11T21:25:54Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• TIDE: Asymmetric Neural Circuits for Stabilized Temporal Inhibitory-Excitatory Dynamics [51.37317469455798]
  最近のContinuous Thought Machineアーキテクチャは、ニューラルダイナミクスを介して外部入力から内部計算を分離している。 非対称な興奮抑制(E-I)ネットワークを用いたニューラルダイナミクスのモデル化を提案する。 本稿では、神経力学を安定化させて内部表現を計算する、神経に触発されたアーキテクチャであるTIDE(Temporal Inhibitory-Excitatory Dynamic Engine)を紹介する。
  論文  参考訳（メタデータ） (2026-05-19T05:59:13Z)
• Efficient event-driven retrieval in high-capacity kernel Hopfield networks [0.0]
  Kernel Logistic Regression (KLR) Hopfieldネットワークのような高容量の連想メモリモデルは、強力なストレージ能力を示しているが、一般的に計算コストのかかる同期更新に依存している。 適切に調整されたカーネルパラメータでは、逐次更新は同期力学と統計的に区別できないトラジェクトリを示す。 この非同期ネットワークは,古典的限界を超えた静的ランダムパターン機構において,P/N近似30ドルに近い経験的記憶能力を実現する。
  論文  参考訳（メタデータ） (2026-05-07T10:21:18Z)
• Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
  交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする 我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2026-03-12T18:19:21Z)
• Self-Organization and Spectral Mechanism of Attractor Landscapes in High-Capacity Kernel Hopfield Networks [0.0]
  カーネルベースの学習は、Hopfieldネットワークのストレージ容量を劇的に増加させる。 階調崩壊と拡散のスペクトル"Goldilocks Zone"に調整することで最適な性能が得られることを示す。
  論文  参考訳（メタデータ） (2025-11-17T06:58:34Z)
• Contraction, Criticality, and Capacity: A Dynamical-Systems Perspective on Echo-State Networks [13.857230672081489]
  本稿では,機能解析,ランダム・アトラクタ理論,最近の神経科学的な知見を融合した統合的動的システム治療について述べる。 まず,大域リプシッツ力学とともにエコー状態特性(初期条件の洗い出し)がフェーディングメモリ特性をもたらすことを証明した。 第二に、ストーン・ワイエルシュトラスの戦略を用いて、非線形貯水池と線形リードアウトを持つESNが、因果的、タイムイン・フェイディング・メモリ・フィルタのバナッハ空間に密着していることを示す。 第3に、メモリ容量スペクトルを用いて計算資源を定量化し、どのように示すかを示す。
  論文  参考訳（メタデータ） (2025-07-24T14:41:18Z)
• Dynamical stability for dense patterns in discrete attractor neural networks [6.159133786557903]
  次級ニューラルネットワークと雑音の存在下での離散的固定点の局所安定性の理論を導出する。 本分析では,閾値線形アクティベーションとスパース様パターンの計算的利点を強調した。
  論文  参考訳（メタデータ） (2025-07-14T15:23:24Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Edge of stability echo state networks [5.888495030452654]
  Echo State Networks (ESN) は、Echo State Property (ESP) の原則の下で動作する時系列処理モデルである。 We introduced a new ESN architecture, the Edge of stability Echo State Network (ES$2$N)
  論文  参考訳（メタデータ） (2023-08-05T15:49:25Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
  グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。 GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
  論文  参考訳（メタデータ） (2021-10-10T04:37:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。