Fugu-MT 論文翻訳(概要): Kernel Logistic Regression Learning for High-Capacity Hopfield Networks

論文の概要: Kernel Logistic Regression Learning for High-Capacity Hopfield Networks

arxiv url: http://arxiv.org/abs/2504.07633v1
Date: Thu, 10 Apr 2025 10:27:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-11 12:23:29.270719
Title: Kernel Logistic Regression Learning for High-Capacity Hopfield Networks
Title（参考訳）: 高容量ホップフィールドネットワークのためのカーネルロジスティック回帰学習
Authors: Akira Tamamori,
Abstract要約: Hebbian Learning limit Hopfield Network Storage capacity (パターン-ニューロン比約0.14) 線形手法とは異なり、KLRはカーネルを用いて高次元の特徴空間にパターンを暗黙的にマッピングし、分離性を向上させる。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Hebbian learning limits Hopfield network storage capacity (pattern-to-neuron ratio around 0.14). We propose Kernel Logistic Regression (KLR) learning. Unlike linear methods, KLR uses kernels to implicitly map patterns to high-dimensional feature space, enhancing separability. By learning dual variables, KLR dramatically improves storage capacity, achieving perfect recall even when pattern numbers exceed neuron numbers (up to ratio 1.5 shown), and enhances noise robustness. KLR demonstrably outperforms Hebbian and linear logistic regression approaches.
Abstract（参考訳）: ヘビアン学習はホップフィールドネットワークストレージ容量を制限している(パターン-ニューロン比は約0.14)。 Kernel Logistic Regression (KLR) 学習を提案する。線形手法とは異なり、KLRはカーネルを使用して高次元の特徴空間にパターンを暗黙的にマッピングし、分離性を高める。二重変数を学習することにより、KLRは記憶容量を劇的に改善し、パターン番号がニューロン数を超えた場合でも完全なリコールを達成する。 KLRは明らかにヘビアンおよび線形ロジスティック回帰法より優れている。

関連論文リスト

Logarithmic Regret for Online KL-Regularized Reinforcement Learning [51.113248212150964]
KL正規化は、大規模言語モデルにおけるRL微調整の効率向上に重要な役割を果たしている。経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。楽観的なKL正規化オンライン文脈帯域幅アルゴリズムを提案し,その後悔の新たな分析法を提案する。
論文参考訳（メタデータ） (2025-02-11T11:11:05Z)
Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving [63.155562267383864]
深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。 DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
論文参考訳（メタデータ） (2024-02-07T09:00:30Z)
Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant Kernel [1.5229257192293204]
KRRはデータでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。本稿では,カーネルをトレーニング中に変更した場合の効果について考察する。帯域幅を減少させることで、よい一般化と組み合わせてゼロトレーニング誤差を達成できることと、二重降下挙動を両立できることを理論的に実証的に示す。
論文参考訳（メタデータ） (2023-11-03T07:43:53Z)
Reinforcement Learning with Fast and Forgetful Memory [10.087126455388276]
強化学習(RL)に特化して設計されたアルゴリズムに依存しないメモリモデルであるFast and Forgetful Memoryを導入する。提案手法は,計算心理学に触発された強い構造的先行性を通じて,モデル探索空間を制約する。 Fast and Forgetful Memoryは、リカレントニューラルネットワーク(RNN)よりも2桁高速なトレーニング速度を示す
論文参考訳（メタデータ） (2023-10-06T09:56:26Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Nesting Forward Automatic Differentiation for Memory-Efficient Deep Neural Network Training [23.536294640280087]
本稿では,メモリ効率向上のための要素活性化関数として,ネストフォワード自動微分(フォワードAD)を提案する。評価の結果,Nested Forward-ADはメモリフットプリントをベースラインモデルよりも1.97倍削減できることがわかった。
論文参考訳（メタデータ） (2022-09-22T04:48:48Z)
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文参考訳（メタデータ） (2020-07-14T18:50:12Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。