Fugu-MT 論文翻訳(概要): Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks

論文の概要: Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks

arxiv url: http://arxiv.org/abs/2504.12561v1
Date: Thu, 17 Apr 2025 01:17:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-18 14:39:18.698891
Title: Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks
Title（参考訳）: 高容量ホップフィールドネットワークの効率的な学習のためのカーネルリッジ回帰
Authors: Akira Tamamori,
Abstract要約: 反復学習の代替としてカーネルリッジ回帰(KRR)を提案する。 KRRは、クローズドフォームのソリューションを通じて非定性的に双対変数を学習し、学習速度の大幅な利点を提供する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Hebbian learning limits Hopfield network capacity. While kernel methods like Kernel Logistic Regression (KLR) improve performance via iterative learning, we propose Kernel Ridge Regression (KRR) as an alternative. KRR learns dual variables non-iteratively via a closed-form solution, offering significant learning speed advantages. We show KRR achieves comparably high storage capacity (reaching ratio 1.5 shown) and noise robustness (recalling from around 80% corrupted patterns) as KLR, while drastically reducing training time, establishing KRR as an efficient method for building high-performance associative memories.
Abstract（参考訳）: ヘビアン学習はホップフィールドのネットワーク容量を制限する。 Kernel Logistic Regression (KLR) のようなカーネル手法は反復学習により性能を向上させるが、代わりに Kernel Ridge Regression (KRR) を提案する。 KRRはクローズドフォームのソリューションを通じて非定性的に双対変数を学習し、学習速度の大幅な優位性を提供する。 KRRは, 学習時間を大幅に短縮し, 高性能な連想記憶を構築するための効率的な方法としてKRRを確立するとともに, 高い記憶容量(保持比1.5)とノイズ堅牢性(約80%の劣化パターンからのリコール)を両立させることを示した。

関連論文リスト

Logarithmic Regret for Online KL-Regularized Reinforcement Learning [51.113248212150964]
KL正規化は、大規模言語モデルにおけるRL微調整の効率向上に重要な役割を果たしている。経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。楽観的なKL正規化オンライン文脈帯域幅アルゴリズムを提案し,その後悔の新たな分析法を提案する。
論文参考訳（メタデータ） (2025-02-11T11:11:05Z)
Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [0.9549646359252346]
勾配に基づく手法を用いて訓練された深層強化学習(RL)モデルでは、勾配の選択とその学習速度は優れた性能を達成するために不可欠である。本稿では,学習中のエージェントのパフォーマンスに基づいて学習率を選択するメタ学習手法である深層強化学習(LRRL)の動的学習率を提案する。
論文参考訳（メタデータ） (2024-10-16T14:15:28Z)
Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving [63.155562267383864]
深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。 DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
論文参考訳（メタデータ） (2024-02-07T09:00:30Z)
Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant Kernel [1.5229257192293204]
KRRはデータでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。本稿では,カーネルをトレーニング中に変更した場合の効果について考察する。帯域幅を減少させることで、よい一般化と組み合わせてゼロトレーニング誤差を達成できることと、二重降下挙動を両立できることを理論的に実証的に示す。
論文参考訳（メタデータ） (2023-11-03T07:43:53Z)
Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels [35.76925787221499]
本稿では,ラジアル基底関数(RBF)カーネルを強化するための訓練可能なパラメータとして,局所適応バンド幅(LAB)の概念を紹介する。 LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加する可能性がある。本稿では,非対称なカーネルリッジ回帰フレームワークを初めて確立し,反復的なカーネル学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-08T17:08:15Z)
Reinforcement Learning with Fast and Forgetful Memory [10.087126455388276]
強化学習(RL)に特化して設計されたアルゴリズムに依存しないメモリモデルであるFast and Forgetful Memoryを導入する。提案手法は,計算心理学に触発された強い構造的先行性を通じて,モデル探索空間を制約する。 Fast and Forgetful Memoryは、リカレントニューラルネットワーク(RNN)よりも2桁高速なトレーニング速度を示す
論文参考訳（メタデータ） (2023-10-06T09:56:26Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Target alignment in truncated kernel ridge regression [12.139222986297264]
ターゲット関数とカーネルのアライメントがカーネルリッジ回帰(KRR)の性能に与える影響について検討する。我々は,TKRRが完全KRRで達成可能なものよりも高速に達成できるエンフェール整列系が存在することを示す。また、バンドリミテッドアライメントの設定を考慮し、TKRRの正規化面が多重降下や非単調な挙動を含む過渡的な効果を示すことを示す。
論文参考訳（メタデータ） (2022-06-28T19:16:10Z)
Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文参考訳（メタデータ） (2022-04-02T09:50:19Z)
SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文参考訳（メタデータ） (2021-08-23T21:03:09Z)
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文参考訳（メタデータ） (2021-03-04T08:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。