論文の概要: Spike-timing-dependent Hebbian learning as noisy gradient descent

• arxiv url: http://arxiv.org/abs/2505.10272v1
• Date: Thu, 15 May 2025 13:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.32834
• Title: Spike-timing-dependent Hebbian learning as noisy gradient descent
• Title（参考訳）: 雑音勾配降下としてのスパイクタイミング依存型ヘッビアン学習
• Authors: Niklas Dexheimer, Sascha Gaudlitz, Johannes Schmidt-Hieber,
• Abstract要約: ヘビアンラーニングは、生物学的ニューラルネットワークにおける学習の基礎となる重要な原則である。 ヘビアンスパイクタイピング依存の塑性規則を雑音勾配降下に関連づける。 この関係により、学習規則が最終的に最も活動性の高いシナプス前ニューロンを識別することを証明することができる。
• 参考スコア（独自算出の注目度）: 4.847470451539329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hebbian learning is a key principle underlying learning in biological neural networks. It postulates that synaptic changes occur locally, depending on the activities of pre- and postsynaptic neurons. While Hebbian learning based on neuronal firing rates is well explored, much less is known about learning rules that account for precise spike-timing. We relate a Hebbian spike-timing-dependent plasticity rule to noisy gradient descent with respect to a natural loss function on the probability simplex. This connection allows us to prove that the learning rule eventually identifies the presynaptic neuron with the highest activity. We also discover an intrinsic connection to noisy mirror descent.
• Abstract（参考訳）: ヘビアンラーニングは、生物学的ニューラルネットワークにおける学習の基礎となる重要な原則である。 これはシナプス前ニューロンと後シナプス後ニューロンの活動によってシナプス変化が局所的に起こることを仮定している。 ニューロンの発射速度に基づくヘビーンの学習はよく研究されているが、正確なスパイク・タイピングを考慮に入れた学習規則についてはあまり知られていない。 確率単純度上の自然損失関数に対して,Hebbian Spip-timing-dependent plasticity ruleをノイズ勾配勾配に関連付ける。 この関係により、学習規則が最終的に最も活動性の高いシナプス前ニューロンを識別することを証明することができる。 また、ノイズミラー降下に対する本質的な接続も発見する。

関連論文リスト

• Learning in Spiking Neural Networks with a Calcium-based Hebbian Rule for Spike-timing-dependent Plasticity [0.46085106405479537]
  我々は, シナプス修飾をカルシウムトレースの関数としてモデル化し, 神経活動を追跡するヘビーンの局所学習規則を提案する。 本モデルでは,ニューロンの平均発火速度を変化させることなく,ネットワークの学習速度を調節する方法について検討した。
  論文  参考訳（メタデータ） (2025-04-09T11:39:59Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Smooth Exact Gradient Descent Learning in Spiking Neural Networks [0.0]
  連続的に変化するスパイキングダイナミクスに基づいて、正確な勾配降下を示す。 これらは、スパイクが消えてトライアルの終わりに現れるニューロンモデルによって生成され、その後のダイナミクスには影響しない。
  論文  参考訳（メタデータ） (2023-09-25T20:51:00Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Bio-plausible Unsupervised Delay Learning for Extracting Temporal Features in Spiking Neural Networks [0.548253258922555]
  ニューロン間の伝導遅延の可塑性は、学習において基本的な役割を果たす。 シナプス遅延の正確な調整を理解することは、効果的な脳にインスパイアされた計算モデルを開発するのに役立ちます。
  論文  参考訳（メタデータ） (2020-11-18T16:25:32Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Identifying Learning Rules From Neural Network Observables [26.96375335939315]
  学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。 本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
  論文  参考訳（メタデータ） (2020-10-22T14:36:54Z)
• Local plasticity rules can learn deep representations using self-supervised contrastive predictions [3.6868085124383616]
  生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。 本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。 この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
  論文  参考訳（メタデータ） (2020-10-16T09:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。