Fugu-MT 論文翻訳(概要): Spike-timing-dependent Hebbian learning as noisy gradient descent

論文の概要: Spike-timing-dependent Hebbian learning as noisy gradient descent

arxiv url: http://arxiv.org/abs/2505.10272v2
Date: Tue, 21 Oct 2025 14:57:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 03:08:05.731316
Title: Spike-timing-dependent Hebbian learning as noisy gradient descent
Title（参考訳）: 雑音勾配降下としてのスパイクタイミング依存型ヘッビアン学習
Authors: Niklas Dexheimer, Sascha Gaudlitz, Johannes Schmidt-Hieber,
Abstract要約: ヘビアンラーニング(Hebbian learning)は、生物学的ネットワークにおける基礎となる学習である。ヘビアンスパイクタイピング依存の可塑性は、生物学的ネットワークにおける鍵となる学習である。
参考スコア（独自算出の注目度）: 4.2566707664597
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hebbian learning is a key principle underlying learning in biological neural networks. We relate a Hebbian spike-timing-dependent plasticity rule to noisy gradient descent with respect to a non-convex loss function on the probability simplex. Despite the constant injection of noise and the non-convexity of the underlying optimization problem, one can rigorously prove that the considered Hebbian learning dynamic identifies the presynaptic neuron with the highest activity and that the convergence is exponentially fast in the number of iterations. This is non-standard and surprising as typically noisy gradient descent with fixed noise level only converges to a stationary regime where the noise causes the dynamic to fluctuate around a minimiser.
Abstract（参考訳）: ヘビアンラーニングは、生物学的ニューラルネットワークにおける学習の基礎となる重要な原則である。確率単純度上の非凸損失関数に対して, ヘビアンスパイクタイピング依存の塑性規則をノイズ勾配勾配に関連付ける。雑音の絶え間ない注入と基礎となる最適化問題の非凸性にもかかわらず、考慮されたヘビアン学習力学がシナプス前ニューロンを最も高い活性で同定し、反復数において収束が指数関数的に速いことを厳密に証明することができる。ノイズレベルが固定された一般的なノイズ勾配勾配は、ノイズがミニミザーの周りで動的に変動する定常的な状態にのみ収束するので、これは非標準であり驚きである。

関連論文リスト

Extending Spike-Timing Dependent Plasticity to Learning Synaptic Delays [50.45313162890861]
シナプス接続強度と遅延を同時に学習するための新しい学習規則を導入する。我々は、教師なし学習で訓練された分類のための広く使われているSNNモデルを拡張して、我々のアプローチを検証する。その結果,提案手法は様々なテストシナリオにおいて常に優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2025-06-17T21:24:58Z)
Emergence of Hebbian Dynamics in Regularized Non-Local Learners [1.919481257269497]
Gradient Descent(SGD)は、最先端の機械学習モデルの大半を支える、極めて効果的な学習アルゴリズムとして登場した。生物学的脳は非局所的であるため勾配降下を実装できないと広く信じられており、実験的な証拠はほとんど見つかっていない。本稿では,重み付きSGDを用いて学習したニューラルネットワークの学習信号と,収束に近いヘビアン学習で訓練したニューラルネットワークとの理論的および実証的な接続を確立する。
論文参考訳（メタデータ） (2025-05-23T16:16:09Z)
Learning in Spiking Neural Networks with a Calcium-based Hebbian Rule for Spike-timing-dependent Plasticity [0.46085106405479537]
我々は, シナプス修飾をカルシウムトレースの関数としてモデル化し, 神経活動を追跡するヘビーンの局所学習規則を提案する。本モデルでは,ニューロンの平均発火速度を変化させることなく,ネットワークの学習速度を調節する方法について検討した。
論文参考訳（メタデータ） (2025-04-09T11:39:59Z)
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文参考訳（メタデータ） (2024-02-19T09:29:37Z)
Smooth Exact Gradient Descent Learning in Spiking Neural Networks [0.0]
連続的に変化するスパイキングダイナミクスに基づいて、正確な勾配降下を示す。これらは、スパイクが消えてトライアルの終わりに現れるニューロンモデルによって生成され、その後のダイナミクスには影響しない。
論文参考訳（メタデータ） (2023-09-25T20:51:00Z)
The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文参考訳（メタデータ） (2022-07-04T11:27:08Z)
Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文参考訳（メタデータ） (2021-02-18T14:53:12Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Bio-plausible Unsupervised Delay Learning for Extracting Temporal Features in Spiking Neural Networks [0.548253258922555]
ニューロン間の伝導遅延の可塑性は、学習において基本的な役割を果たす。シナプス遅延の正確な調整を理解することは、効果的な脳にインスパイアされた計算モデルを開発するのに役立ちます。
論文参考訳（メタデータ） (2020-11-18T16:25:32Z)
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文参考訳（メタデータ） (2020-11-12T06:06:33Z)
Identifying Learning Rules From Neural Network Observables [26.96375335939315]
学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
論文参考訳（メタデータ） (2020-10-22T14:36:54Z)
Local plasticity rules can learn deep representations using self-supervised contrastive predictions [3.6868085124383616]
生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
論文参考訳（メタデータ） (2020-10-16T09:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。