論文の概要: Quantitative Attractor Analysis of High-Capacity Kernel Logistic Regression Hopfield Networks

• arxiv url: http://arxiv.org/abs/2505.01218v1
• Date: Fri, 02 May 2025 12:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:20.015285
• Title: Quantitative Attractor Analysis of High-Capacity Kernel Logistic Regression Hopfield Networks
• Title（参考訳）: 高容量カーネルロジスティック回帰ホップフィールドネットワークの定量的トラクタ解析
• Authors: Akira Tamamori,
• Abstract要約: 本稿では,広範シミュレーションにより,KLR学習ネットワークにおけるアトラクタ構造を定量的に解析する。 記憶負荷(最大4.0P/N)と騒音レベルにまたがる多様な初期状態からのリコールを評価する。 分析の結果,KLRの性能は高いキャパシティ(最大4.0P/N)とロバスト性であることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional Hopfield networks, using Hebbian learning, face severe storage capacity limits ($\approx 0.14$ P/N) and spurious attractors. Kernel Logistic Regression (KLR) offers a non-linear approach, mapping patterns to high-dimensional feature spaces for improved separability. Our previous work showed KLR dramatically improves capacity and noise robustness over conventional methods. This paper quantitatively analyzes the attractor structures in KLR-trained networks via extensive simulations. We evaluated recall from diverse initial states across wide storage loads (up to 4.0 P/N) and noise levels. We quantified convergence rates and speed. Our analysis confirms KLR's superior performance: high capacity (up to 4.0 P/N) and robustness. The attractor landscape is remarkably "clean," with near-zero spurious fixed points. Recall failures under high load/noise are primarily due to convergence to other learned patterns, not spurious ones. Dynamics are exceptionally fast (typically 1-2 steps for high-similarity states). This characterization reveals how KLR reshapes dynamics for high-capacity associative memory, highlighting its effectiveness and contributing to AM understanding.
• Abstract（参考訳）: 従来のホップフィールドネットワークは、ヘビアンラーニング(Hebbian learning)を使用して、厳しいストレージ容量制限(\approx 0.14$ P/N)と刺激的なアトラクションに直面している。 Kernel Logistic Regression (KLR)は非線形アプローチを提供し、分離性を改善するために高次元の特徴空間へのマッピングパターンを提供する。 従来手法に比べてKLRの容量と耐雑音性は劇的に向上した。 本稿では,広範シミュレーションにより,KLR学習ネットワークにおけるアトラクタ構造を定量的に解析する。 記憶負荷(最大4.0P/N)と騒音レベルにまたがる多様な初期状態からのリコールを評価した。 私たちは収束率と速度を定量化した。 分析の結果,KLRの性能は高いキャパシティ(最大4.0P/N)とロバスト性であることがわかった。 魅力ある風景は驚くほど「クリーン」で、ほぼゼロの急な固定点がある。 高負荷/ノイズ下でのリコール障害は主に、他の学習パターンへの収束によるもので、刺激的なものではない。 ダイナミクスは例外的に高速(典型的には高相似状態の1-2ステップ)である。 この特徴は、KLRが高容量連想メモリのダイナミクスを再評価し、その有効性を強調し、AM理解に寄与することを示す。

関連論文リスト

• Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks [0.0]
  我々は,高容量ホップフィールドネットワークを学習するためのカーネルベースの効率的な代替手段として,Kernel Ridge Regression (KRR)を提案する。 KRRはカーネルのトリックを利用し、回帰を通じて双極子状態を予測する。 以上の結果から,KRRはKLRに匹敵する,最先端のストレージ容量($beta$=1.5)と耐雑音性を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-04-17T01:17:28Z)
• Kernel Logistic Regression Learning for High-Capacity Hopfield Networks [0.0]
  Hebbian Learning limit Hopfield Network Storage capacity (パターン-ニューロン比約0.14) 線形手法とは異なり、KLRはカーネルを用いて高次元の特徴空間にパターンを暗黙的にマッピングし、分離性を向上させる。
  論文  参考訳（メタデータ） (2025-04-10T10:27:43Z)
• Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape [40.78854925996]
  Transformerアーキテクチャに基づく大規模言語モデルは、コンテキストで学習できる印象的な能力を示している。 共通非線形表現や特徴写像は、文脈内学習の力を高めるために利用できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:29:40Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• AutoRL Hyperparameter Landscapes [69.15927869840918]
  強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。 我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。 これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
  論文  参考訳（メタデータ） (2023-04-05T12:14:41Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。