論文の概要: Quantitative Attractor Analysis of High-Capacity Kernel Logistic Regression Hopfield Networks

• arxiv url: http://arxiv.org/abs/2505.01218v1
• Date: Fri, 02 May 2025 12:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:20.015285
• Title: Quantitative Attractor Analysis of High-Capacity Kernel Logistic Regression Hopfield Networks
• Title（参考訳）: 高容量カーネルロジスティック回帰ホップフィールドネットワークの定量的トラクタ解析
• Abstract要約: 本稿では,広範シミュレーションにより,KLR学習ネットワークにおけるアトラクタ構造を定量的に解析する。 記憶負荷(最大4.0P/N)と騒音レベルにまたがる多様な初期状態からのリコールを評価する。 分析の結果,KLRの性能は高いキャパシティ(最大4.0P/N)とロバスト性であることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional Hopfield networks, using Hebbian learning, face severe storage capacity limits ($\approx 0.14$ P/N) and spurious attractors. Kernel Logistic Regression (KLR) offers a non-linear approach, mapping patterns to high-dimensional feature spaces for improved separability. Our previous work showed KLR dramatically improves capacity and noise robustness over conventional methods. This paper quantitatively analyzes the attractor structures in KLR-trained networks via extensive simulations. We evaluated recall from diverse initial states across wide storage loads (up to 4.0 P/N) and noise levels. We quantified convergence rates and speed. Our analysis confirms KLR's superior performance: high capacity (up to 4.0 P/N) and robustness. The attractor landscape is remarkably "clean," with near-zero spurious fixed points. Recall failures under high load/noise are primarily due to convergence to other learned patterns, not spurious ones. Dynamics are exceptionally fast (typically 1-2 steps for high-similarity states). This characterization reveals how KLR reshapes dynamics for high-capacity associative memory, highlighting its effectiveness and contributing to AM understanding.
• Abstract（参考訳）: 従来のホップフィールドネットワークは、ヘビアンラーニング(Hebbian learning)を使用して、厳しいストレージ容量制限(\approx 0.14$ P/N)と刺激的なアトラクションに直面している。 Kernel Logistic Regression (KLR)は非線形アプローチを提供し、分離性を改善するために高次元の特徴空間へのマッピングパターンを提供する。 従来手法に比べてKLRの容量と耐雑音性は劇的に向上した。 本稿では,広範シミュレーションにより,KLR学習ネットワークにおけるアトラクタ構造を定量的に解析する。 記憶負荷(最大4.0P/N)と騒音レベルにまたがる多様な初期状態からのリコールを評価した。 私たちは収束率と速度を定量化した。 分析の結果,KLRの性能は高いキャパシティ(最大4.0P/N)とロバスト性であることがわかった。 魅力ある風景は驚くほど「クリーン」で、ほぼゼロの急な固定点がある。 高負荷/ノイズ下でのリコール障害は主に、他の学習パターンへの収束によるもので、刺激的なものではない。 ダイナミクスは例外的に高速(典型的には高相似状態の1-2ステップ)である。 この特徴は、KLRが高容量連想メモリのダイナミクスを再評価し、その有効性を強調し、AM理解に寄与することを示す。

関連論文リスト

• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Relative Kinetic Utility for Reasoning-Aware Structural Pruning in Large Language Models [0.0]
  モデルの深さ多様体上での連続的な運動積分に離散的なプルーニングを高める新しい枠組みを提案する。 Qwen-2.5-7B と LLaMA-3-8B の試験により、高スパーシティのシステムの性能は40%向上した。 RKUはGSM8Kで40%の精度で13.34%の精度を達成し、最強のベースラインを上回った。
  論文  参考訳（メタデータ） (2026-05-09T15:47:53Z)
• Efficient event-driven retrieval in high-capacity kernel Hopfield networks [0.0]
  Kernel Logistic Regression (KLR) Hopfieldネットワークのような高容量の連想メモリモデルは、強力なストレージ能力を示しているが、一般的に計算コストのかかる同期更新に依存している。 適切に調整されたカーネルパラメータでは、逐次更新は同期力学と統計的に区別できないトラジェクトリを示す。 この非同期ネットワークは,古典的限界を超えた静的ランダムパターン機構において,P/N近似30ドルに近い経験的記憶能力を実現する。
  論文  参考訳（メタデータ） (2026-05-07T10:21:18Z)
• Geometric and dynamical analysis of attractor boundaries and storage limits in kernel Hopfield networks [0.0]
  本稿では,KLR学習ホップフィールドネットワークにおけるアトラクタ盆地のグローバルな幾何学と,記憶限界を規定する機構について検討する。 実験により、ネットワークは、P/N近似16ドル付近の効率的な負荷下で、構造化データの安定した検索を維持しながら、ランダムシーケンスのストレージ容量を最大16ドルまで達成している。
  論文  参考訳（メタデータ） (2026-05-01T03:04:44Z)
• Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory [77.27772368491698]
  Muonのようなスペクトルは、最近、大規模な言語モデルトレーニングにおいて、強い経験的パフォーマンスを示している。 我々はこの問題を線形連想記憶問題を通して研究する。 また,Muonの貯蔵能力はSGDよりも有意に高いことがわかった。
  論文  参考訳（メタデータ） (2026-03-27T16:13:18Z)
• Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
  交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする 我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2026-03-12T18:19:21Z)
• Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models [71.9060068259379]
  汎用推論モデルを構築するために,ケースド・ドメインワイド強化学習を提案する。 私たちの14Bモデルは、RLの後、LiveCodeBench v5/v6 ProでSFTの教師であるDeepSeek-R1-0528を上回り、インフォマティクスにおける2025 International Olympiad in Informatics (IOI)における銀の医療性能を上回りました。
  論文  参考訳（メタデータ） (2025-12-15T18:02:35Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [53.239242017802056]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• Contraction, Criticality, and Capacity: A Dynamical-Systems Perspective on Echo-State Networks [13.857230672081489]
  本稿では,機能解析,ランダム・アトラクタ理論,最近の神経科学的な知見を融合した統合的動的システム治療について述べる。 まず,大域リプシッツ力学とともにエコー状態特性(初期条件の洗い出し)がフェーディングメモリ特性をもたらすことを証明した。 第二に、ストーン・ワイエルシュトラスの戦略を用いて、非線形貯水池と線形リードアウトを持つESNが、因果的、タイムイン・フェイディング・メモリ・フィルタのバナッハ空間に密着していることを示す。 第3に、メモリ容量スペクトルを用いて計算資源を定量化し、どのように示すかを示す。
  論文  参考訳（メタデータ） (2025-07-24T14:41:18Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks [0.0]
  我々は,高容量ホップフィールドネットワークを学習するためのカーネルベースの効率的な代替手段として,Kernel Ridge Regression (KRR)を提案する。 KRRはカーネルのトリックを利用し、回帰を通じて双極子状態を予測する。 以上の結果から,KRRはKLRに匹敵する,最先端のストレージ容量($beta$=1.5)と耐雑音性を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-04-17T01:17:28Z)
• Kernel Logistic Regression Learning for High-Capacity Hopfield Networks [0.0]
  Hebbian Learning limit Hopfield Network Storage capacity (パターン-ニューロン比約0.14) 線形手法とは異なり、KLRはカーネルを用いて高次元の特徴空間にパターンを暗黙的にマッピングし、分離性を向上させる。
  論文  参考訳（メタデータ） (2025-04-10T10:27:43Z)
• Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape [40.78854925996]
  Transformerアーキテクチャに基づく大規模言語モデルは、コンテキストで学習できる印象的な能力を示している。 共通非線形表現や特徴写像は、文脈内学習の力を高めるために利用できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:29:40Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Excitatory/Inhibitory Balance Emerges as a Key Factor for RBN Performance, Overriding Attractor Dynamics [35.70635792124142]
  貯留層コンピューティングは、伝統的な学習方法に代わる時間とコスト効率を提供する。 特定の分布パラメータが臨界点付近の様々な力学に導かれることを示す。 次に、記憶と予測という2つの困難なタスクにおける性能評価を行い、正の興奮バランスがより高いメモリ性能の臨界点を生み出すことを発見した。
  論文  参考訳（メタデータ） (2023-08-02T17:41:58Z)
• AutoRL Hyperparameter Landscapes [69.15927869840918]
  強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。 我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。 これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
  論文  参考訳（メタデータ） (2023-04-05T12:14:41Z)
• Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
  本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。 この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:48:12Z)
• Towards Understanding Label Smoothing [36.54164997035046]
  ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。 適切なLSRが分散を減少させることで収束を加速することを示す。 本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
  論文  参考訳（メタデータ） (2020-06-20T20:36:17Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。