論文の概要: Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks

• arxiv url: http://arxiv.org/abs/2504.12561v2
• Date: Thu, 01 May 2025 16:44:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.566012
• Title: Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks
• Title（参考訳）: 高容量ホップフィールドネットワークの効率的な学習のためのカーネルリッジ回帰
• Authors: Akira Tamamori,
• Abstract要約: 我々は,高容量ホップフィールドネットワークを学習するためのカーネルベースの効率的な代替手段として,Kernel Ridge Regression (KRR)を提案する。 KRRはカーネルのトリックを利用し、回帰を通じて双極子状態を予測する。 以上の結果から,KRRはKLRに匹敵する,最先端のストレージ容量($beta$=1.5)と耐雑音性を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hopfield networks using Hebbian learning suffer from limited storage capacity. While supervised methods like Linear Logistic Regression (LLR) offer some improvement, kernel methods like Kernel Logistic Regression (KLR) significantly enhance capacity and noise robustness. However, KLR requires computationally expensive iterative learning. We propose Kernel Ridge Regression (KRR) as an efficient kernel-based alternative for learning high-capacity Hopfield networks. KRR utilizes the kernel trick and predicts bipolar states via regression, crucially offering a non-iterative, closed-form solution for learning dual variables. We evaluate KRR and compare its performance against Hebbian, LLR, and KLR. Our results demonstrate that KRR achieves state-of-the-art storage capacity (reaching $\beta$=1.5) and noise robustness, comparable to KLR. Crucially, KRR drastically reduces training time, being orders of magnitude faster than LLR and significantly faster than KLR, especially at higher storage loads. This establishes KRR as a potent and highly efficient method for building high-performance associative memories, providing comparable performance to KLR with substantial training speed advantages. This work provides the first empirical comparison between KRR and KLR in the context of Hopfield network learning.
• Abstract（参考訳）: Hebbian Learningを使用したホップフィールドネットワークは、限られたストレージ容量に悩まされている。 LLR(Linear Logistic Regression)のような教師付きメソッドはいくつかの改善を提供するが、KLR(Kernel Logistic Regression)のようなカーネルメソッドはキャパシティとノイズの堅牢性を著しく向上させる。 しかし、KLRは計算的に高価な反復学習を必要とする。 我々は,高容量ホップフィールドネットワークを学習するためのカーネルベースの効率的な代替手段として,Kernel Ridge Regression (KRR)を提案する。 KRRはカーネルのトリックを利用し、回帰を通じて双極子状態を予測する。 我々はKRRを評価し,その性能をHebbian,LLR,KLRと比較した。 以上の結果から,KRRはKLRに匹敵する,最先端のストレージ容量($\beta$=1.5)と耐雑音性を実現していることがわかった。 重要なことに、KRRはトレーニング時間を劇的に短縮し、特に高いストレージ負荷において、LLRよりも桁違いに速く、KLRよりもかなり高速である。 これにより、KRRは高性能な連想記憶を構築するための強力で高効率な方法として確立され、KLRに匹敵する性能とトレーニング速度の優位性を提供する。 この研究は、ホップフィールドネットワーク学習の文脈において、KRRとKLRとの最初の経験的比較を提供する。

関連論文リスト

• Kernel Logistic Regression Learning for High-Capacity Hopfield Networks [0.0]
  Hebbian Learning limit Hopfield Network Storage capacity (パターン-ニューロン比約0.14) 線形手法とは異なり、KLRはカーネルを用いて高次元の特徴空間にパターンを暗黙的にマッピングし、分離性を向上させる。
  論文  参考訳（メタデータ） (2025-04-10T10:27:43Z)
• Logarithmic Regret for Online KL-Regularized Reinforcement Learning [51.113248212150964]
  KL正規化は、大規模言語モデルにおけるRL微調整の効率向上に重要な役割を果たしている。 経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。 楽観的なKL正規化オンライン文脈帯域幅アルゴリズムを提案し,その後悔の新たな分析法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T11:11:05Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [0.9549646359252346]
  勾配に基づく手法を用いて訓練された深層強化学習(RL)モデルでは、勾配の選択とその学習速度は優れた性能を達成するために不可欠である。 本稿では,学習中のエージェントのパフォーマンスに基づいて学習率を選択するメタ学習手法である深層強化学習(LRRL)の動的学習率を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:15:28Z)
• Scaling Optimal LR Across Token Horizons [81.29631219839311]
  LLMトレーニングにおいて,最適な学習速度がトークン水平線に依存することを示す。 また,LLama-1が高LRを多用した証拠も提示し,その性能を推定した。
  論文  参考訳（メタデータ） (2024-09-30T03:32:02Z)
• Have ASkotch: A Neat Solution for Large-scale Kernel Ridge Regression [16.836685923503868]
  ASkotchは、線形収束を確実に得るフルKRRのスケーラブルで加速された反復的手法である。 Askotchは23の大規模KRR回帰および分類タスクのテストベッド上で最先端のKRRソルバより優れている。 我々の研究は、多くの分野にわたる完全なKRRの非想像的応用の可能性を開く。
  論文  参考訳（メタデータ） (2024-07-14T04:11:10Z)
• Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving [63.155562267383864]
  深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。 DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。 そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T09:00:30Z)
• Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant Kernel [1.5229257192293204]
  KRRはデータでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。 本稿では,カーネルをトレーニング中に変更した場合の効果について考察する。 帯域幅を減少させることで、よい一般化と組み合わせてゼロトレーニング誤差を達成できることと、二重降下挙動を両立できることを理論的に実証的に示す。
  論文  参考訳（メタデータ） (2023-11-03T07:43:53Z)
• Reinforcement Learning with Fast and Forgetful Memory [10.087126455388276]
  強化学習(RL)に特化して設計されたアルゴリズムに依存しないメモリモデルであるFast and Forgetful Memoryを導入する。 提案手法は,計算心理学に触発された強い構造的先行性を通じて,モデル探索空間を制約する。 Fast and Forgetful Memoryは、リカレントニューラルネットワーク(RNN)よりも2桁高速なトレーニング速度を示す
  論文  参考訳（メタデータ） (2023-10-06T09:56:26Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks [56.66010634895913]
  学習率(LR)は、勾配降下(SGD)訓練ネットワーク(DNN)において最も重要なハイパーラーニングネットワークパラメータの1つである。 本稿では,MLR-SNetタスクの適切なLRスケジュールを学習することを提案する。 また、MLR-SNetを使用して、異なるノイズ、アーキテクチャ、データモダリティ、トレーニング用のサイズなどのタスクをクエリし、パフォーマンスを達成または改善します。
  論文  参考訳（メタデータ） (2020-07-29T01:18:58Z)
• Towards Understanding Label Smoothing [36.54164997035046]
  ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。 適切なLSRが分散を減少させることで収束を加速することを示す。 本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
  論文  参考訳（メタデータ） (2020-06-20T20:36:17Z)
• kDecay: Just adding k-decay items on Learning-Rate Schedule to improve Neural Networks [5.541389959719384]
  k-decayは、よく使われるLRスケジュールの性能を効果的に改善する。 我々は、異なるニューラルネットワークを用いたCIFARおよびImageNetデータセットにおけるk-decay法の評価を行った。 精度はCIFAR-10データセットで1.08%、CIFAR-100データセットで2.07%向上した。
  論文  参考訳（メタデータ） (2020-04-13T12:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。