論文の概要: Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories

• arxiv url: http://arxiv.org/abs/2609.16827v2
• Date: Wed, 16 Sep 2026 05:00:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.437634
• Title: Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories
• Title（参考訳）: 高容量カーネル連想記憶における安定性の端における情報幾何学的自己組織化
• Abstract要約: 最適高容量メモリ表現は平らなミニマでは形成されず、幾何学的特異点の高度に湾曲した境界で彫刻されていることを示す。 これらの結果は, 平坦なミニマでは最適な高容量メモリ表現は形成されず, 幾何学的特異点の高度に湾曲した境界で動的に彫刻されていることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-capacity associative memories based on Kernel Logistic Regression (KLR) exhibit exceptional storage capabilities and robustness. Previous empirical studies identified a hyperparameter regime, the "Ridge of Optimization," where attractor stability is maximized. However, the geometric nature of this regime and the optimization dynamics required to reach it have remained unclear. In this paper, we investigate the static geometry of the parameter space and the learning trajectory of Gradient Descent (GD) in KLR-trained Hopfield networks. Using the eigenvalue spectrum of the Hessian, we reveal that the Ridge corresponds to a phase boundary located adjacent to a rank-1 spectral collapse, acting as a geometric singularity where the principal curvature is massively amplified. Furthermore, we demonstrate that the learning dynamics exhibit a transient self-stabilizing behavior driven by the Edge of Stability (EoS) phenomenon. Rather than seeking flat regions, the network parameters are driven toward a state where the local curvature dynamically equilibrates near the stability limit dictated by the learning rate, allowing the optimization to survive the initial instability. We provide analytical derivations for both the rank-1 asymptotic collapse and the dynamic feedback loop governing this equilibration. These findings suggest that optimal, high-capacity memory representations are not formed in flat minima, but are dynamically sculpted at the highly curved boundaries of geometric singularities.
• Abstract（参考訳）: Kernel Logistic Regression (KLR) に基づく高容量連想記憶は、優れた記憶能力とロバスト性を示す。 以前の実証実験では、アトラクタ安定性が最大化されるハイパーパラメーター("Ridge of Optimization")が特定された。 しかし、この状態の幾何学的性質とそれに到達するのに必要な最適化力学はいまだに不明である。 本稿では,KLR学習ホップフィールドネットワークにおけるパラメータ空間の静的幾何とグラディエント Descent (GD) の学習軌跡について検討する。 ヘッセンの固有値スペクトルを用いて、リッジはランク1のスペクトル崩壊に隣接した位相境界に対応し、主曲率が大きく増幅される幾何学的特異点として機能することを明らかにした。 さらに,学習力学は安定性のエッジ(EoS)現象によって駆動される過渡的な自己安定化行動を示すことを示した。 ネットワークパラメータは、平坦な領域を求めるのではなく、学習速度によって規定される安定性限界付近で局所曲率が動的に平衡する状態に向かって駆動される。 我々はランク1漸近崩壊とこの平衡を規定する動的フィードバックループの両方について解析的導出を行う。 これらの結果は, 平坦なミニマでは最適な高容量メモリ表現は形成されず, 幾何学的特異点の高度に湾曲した境界で動的に彫刻されていることを示唆している。

関連論文リスト

• Geometry of learning dynamics: Gradient descent versus natural gradient on the ridge of optimization [0.0]
  カーネルロジスティック回帰(KLR)に基づく高容量連想記憶は「最適化のライダー」を示す 本稿では,KLR学習ホップフィールドネットワークの統計多様体上での学習軌跡の幾何学的解析を行う。 本研究は,GDとNGDの経路を比較することにより,最適化プロセスを管理するメカニズムを解明する。
  論文  参考訳（メタデータ） (2026-09-15T08:11:56Z)
• The Road Taken: The Role of Optimizers at the Edge of Stability [53.81268610971847]
  安定性のエッジ(Edge of stability)とは、古典的な降下が不安定であると予測されるしきい値より上のヘッセンの固有値が安定である深層学習における現象を指す。 それまでの研究は、最大ヘッセン固有値と学習率に関して安定性の端を定式化していた。 我々は、勾配降下を含む多くの一階法が、これらの理論によって予測される安定性を21.1ドルという大きな因子で著しく破っていることを観察した。
  論文  参考訳（メタデータ） (2026-08-19T01:03:34Z)
• SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates [2.104588729923885]
  現代のディープラーニングは、安定性の端で機能することが示されている。 マルチクラスクロスエントロピー損失に適用したグラディエント・ディキセント(SGD)の収束保証を提供する。 実験は、我々の理論的な知見を検証し、大規模体制におけるSGDの利点を実証する。
  論文  参考訳（メタデータ） (2026-06-29T21:32:58Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Geometric and dynamical analysis of attractor boundaries and storage limits in kernel Hopfield networks [0.0]
  本稿では,KLR学習ホップフィールドネットワークにおけるアトラクタ盆地のグローバルな幾何学と,記憶限界を規定する機構について検討する。 実験により、ネットワークは、P/N近似16ドル付近の効率的な負荷下で、構造化データの安定した検索を維持しながら、ランダムシーケンスのストレージ容量を最大16ドルまで達成している。
  論文  参考訳（メタデータ） (2026-05-01T03:04:44Z)
• Stabilizing Policy Optimization via Logits Convexity [59.242732612484474]
  モデルロジットに対する教師付き微調整損失の凸性は、安定したトレーニングを可能にする上で重要な役割を担っていることを示す。 そこで本研究では,ロジッツ・コンベックス最適化(Logits Convex Optimization, LCO)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:40:12Z)
• Spectral Concentration at the Edge of Stability: Information Geometry of Kernel Associative Memory [0.0]
  統計的多様体上のネットワーク力学を解析し、リッジが「安定性のエッジ」に対応することを明らかにする。 これは最小記述長原理を通じて学習力学とキャパシティを統一し、自己組織的臨界性の幾何学理論を提供する。
  論文  参考訳（メタデータ） (2025-11-28T11:14:15Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。