論文の概要: Self-Organization and Spectral Mechanism of Attractor Landscapes in High-Capacity Kernel Hopfield Networks
- arxiv url: http://arxiv.org/abs/2511.13053v3
- Date: Tue, 25 Nov 2025 12:12:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 15:01:35.269563
- Title: Self-Organization and Spectral Mechanism of Attractor Landscapes in High-Capacity Kernel Hopfield Networks
- Title（参考訳）: 高容量カーネルホップフィールドネットワークにおけるトラクター景観の自己組織化とスペクトル機構
- Authors: Akira Tamamori,
- Abstract要約: カーネルベースの学習は、Hopfieldネットワークのストレージ容量を劇的に増加させる。
階調崩壊と拡散のスペクトル"Goldilocks Zone"に調整することで最適な性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernel-based learning methods can dramatically increase the storage capacity of Hopfield networks, yet the dynamical mechanism behind this enhancement remains poorly understood. We address this gap by unifying the geometric analysis of the attractor landscape with the spectral theory of kernel machines. Using a novel metric, "Pinnacle Sharpness," we first uncover a rich phase diagram of attractor stability, identifying a "Ridge of Optimization" where the network achieves maximal robustness under high-load conditions. Phenomenologically, this ridge is characterized by a "Force Antagonism," where a strong driving force is balanced by a collective feedback force. Theoretically, we reveal that this phenomenon arises from a specific reorganization of the weight spectrum, which we term \textit{Spectral Concentration}. Unlike a simple rank-1 collapse, our analysis shows that the network on the ridge self-organizes into a critical state: the leading eigenvalue is amplified to maximize global stability (Direct Force), while the trailing eigenvalues are preserved to maintain high memory capacity (Indirect Force). These findings provide a complete physical picture of how high-capacity associative memories are formed, demonstrating that optimal performance is achieved by tuning the system to a spectral "Goldilocks zone" between rank collapse and diffusion.
- Abstract（参考訳）: カーネルベースの学習手法はホップフィールドネットワークの記憶能力を劇的に向上させるが、この拡張の背後にある動的メカニズムはいまだに理解されていない。
本稿では,カーネルマシンのスペクトル理論を用いて,アトラクタランドスケープの幾何学的解析を統一することにより,このギャップに対処する。
新たな計量である"Pinnacle Sharpness"を用いて、まず、高負荷条件下でネットワークが最大ロバスト性を達成できる"最適化のライダー"を同定し、アトラクタ安定性の豊かな位相図を明らかにする。
現象学的には、この尾根は「フォース・アンタゴニズム(Force Antagonism)」と呼ばれ、強い駆動力は集団的なフィードバック力によってバランスがとれる。
理論的には、この現象は重量スペクトルの特定の再編成から生じており、これは「textit{Spectral concentration}」と呼ばれる。
単純なランク1の崩壊とは異なり、我々の分析では尾根上のネットワークが臨界状態に自己組織化され、先頭の固有値は大域的安定性(Direct Force)を最大化するために増幅され、後続の固有値は高記憶容量(Indirect Force)を維持するために保存される。
これらの結果から,ランク崩壊と拡散の間のスペクトル"Goldilocks Zone"にシステムをチューニングすることで,高容量な連想記憶がいかに形成されるかの完全な物理像が得られた。
関連論文リスト
- Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。
そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-10-13T22:28:34Z) - Higher-order Network phenomena of cascading failures in resilient cities [1.6858464664111417]
本稿では,大規模で実世界のマルチモーダルトランスポートネットワークによる実証的な証拠とともに,高次ネットワーク理論に直面する枠組みを提案する。
ネットワーク統合は静的ロバスト性指標を増強するが、破滅性カスケードの構造経路を同時に生成する。
ネットワークの静的な青写真から得られたメトリクスが、従来の低次の中央性と新しい高次の構造解析の両方を介し、基本的には非連結であり、したがってシステムの動的機能レジリエンスの予測因子が貧弱であることを示す強力な証拠を提供する。
論文 参考訳（メタデータ） (2025-09-17T08:22:12Z) - Power Grid Control with Graph-Based Distributed Reinforcement Learning [60.49805771047161]
この作業は、リアルタイムでスケーラブルなグリッド管理のためのグラフベースの分散強化学習フレームワークを前進させる。
グラフニューラルネットワーク(GNN)を使用して、ネットワークのトポロジ情報を単一の低レベルエージェントの観測内にエンコードする。
Grid2Opシミュレーション環境での実験は、このアプローチの有効性を示している。
論文 参考訳（メタデータ） (2025-09-02T22:17:25Z) - PowerGrow: Feasible Co-Growth of Structures and Dynamics for Power Grid Synthesis [75.14189839277928]
本稿では,運用効率を維持しながら計算オーバーヘッドを大幅に削減する,共同生成フレームワークPowerGrowを提案する。
ベンチマーク設定による実験では、PowerGrowはフィデリティと多様性において、事前の拡散モデルよりも優れていた。
これは、運用上有効で現実的な電力グリッドシナリオを生成する能力を示している。
論文 参考訳（メタデータ） (2025-08-29T01:47:27Z) - Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。
解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文 参考訳（メタデータ） (2025-06-20T17:54:24Z) - A Dynamical Systems-Inspired Pruning Strategy for Addressing Oversmoothing in Graph Neural Networks [18.185834696177654]
グラフニューラルネットワーク(GNN)のオーバースムース化は、ネットワークの深さが増加するにつれて大きな課題となる。
オーバースムーシングの根本原因を特定し,textbftextitDYNAMO-GATを提案する。
我々の理論的分析は、DYNAMO-GATが過密状態への収束を妨げていることを示している。
論文 参考訳（メタデータ） (2024-12-10T07:07:06Z) - Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。
動作方法や期待されるダイナミクスについてはほとんど分かっていない。
非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
論文 参考訳（メタデータ） (2024-06-11T13:29:34Z) - Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。
トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文 参考訳（メタデータ） (2024-03-12T07:32:47Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳（メタデータ） (2023-10-05T21:44:18Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。