論文の概要: Spike-timing-dependent Hebbian learning as noisy gradient descent

• arxiv url: http://arxiv.org/abs/2505.10272v1
• Date: Thu, 15 May 2025 13:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.32834
• Title: Spike-timing-dependent Hebbian learning as noisy gradient descent
• Title（参考訳）: 雑音勾配降下としてのスパイクタイミング依存型ヘッビアン学習
• Authors: Niklas Dexheimer, Sascha Gaudlitz, Johannes Schmidt-Hieber,
• Abstract要約: ヘビアンラーニングは、生物学的ニューラルネットワークにおける学習の基礎となる重要な原則である。 ヘビアンスパイクタイピング依存の塑性規則を雑音勾配降下に関連づける。 この関係により、学習規則が最終的に最も活動性の高いシナプス前ニューロンを識別することを証明することができる。
• 参考スコア（独自算出の注目度）: 4.847470451539329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hebbian learning is a key principle underlying learning in biological neural networks. It postulates that synaptic changes occur locally, depending on the activities of pre- and postsynaptic neurons. While Hebbian learning based on neuronal firing rates is well explored, much less is known about learning rules that account for precise spike-timing. We relate a Hebbian spike-timing-dependent plasticity rule to noisy gradient descent with respect to a natural loss function on the probability simplex. This connection allows us to prove that the learning rule eventually identifies the presynaptic neuron with the highest activity. We also discover an intrinsic connection to noisy mirror descent.
• Abstract（参考訳）: ヘビアンラーニングは、生物学的ニューラルネットワークにおける学習の基礎となる重要な原則である。 これはシナプス前ニューロンと後シナプス後ニューロンの活動によってシナプス変化が局所的に起こることを仮定している。 ニューロンの発射速度に基づくヘビーンの学習はよく研究されているが、正確なスパイク・タイピングを考慮に入れた学習規則についてはあまり知られていない。 確率単純度上の自然損失関数に対して,Hebbian Spip-timing-dependent plasticity ruleをノイズ勾配勾配に関連付ける。 この関係により、学習規則が最終的に最も活動性の高いシナプス前ニューロンを識別することを証明することができる。 また、ノイズミラー降下に対する本質的な接続も発見する。

関連論文リスト

• How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime? [78.0226274470175]
  我々は、勾配更新にラベルノイズを導入することで、ニューラルネットワーク(NN)のテスト性能が向上するかどうか検討する。 学習中のラベルノイズの付加は,学習過程を支配することを防止し,雑音の記憶を抑制することを実証する。 対照的に、標準GDで訓練されたNNは、同じ低SNR環境でのノイズに過度に適応する傾向にある。
  論文  参考訳（メタデータ） (2025-10-20T13:28:13Z)
• Flow Matching in the Low-Noise Regime: Pathologies and a Contrastive Remedy [19.64681328133978]
  フローマッチングは、生成モデリングと表現学習のための連続時間定式化を提供する。 この枠組みは低雑音体制における根本的な不安定性に悩まされていることを示す。 直接速度回帰を小さな雑音レベルにおける対照的な特徴アライメントに置き換えるハイブリッドトレーニングプロトコルであるLocal Contrastive Flow (LCF)を提案する。
  論文  参考訳（メタデータ） (2025-09-25T09:36:41Z)
• Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning [59.635264288605946]
  クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。 バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
  論文  参考訳（メタデータ） (2025-09-20T16:07:20Z)
• Extending Spike-Timing Dependent Plasticity to Learning Synaptic Delays [50.45313162890861]
  シナプス接続強度と遅延を同時に学習するための新しい学習規則を導入する。 我々は、教師なし学習で訓練された分類のための広く使われているSNNモデルを拡張して、我々のアプローチを検証する。 その結果,提案手法は様々なテストシナリオにおいて常に優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-06-17T21:24:58Z)
• Emergence of Hebbian Dynamics in Regularized Non-Local Learners [1.919481257269497]
  Gradient Descent(SGD)は、最先端の機械学習モデルの大半を支える、極めて効果的な学習アルゴリズムとして登場した。 生物学的脳は非局所的であるため勾配降下を実装できないと広く信じられており、実験的な証拠はほとんど見つかっていない。 本稿では,重み付きSGDを用いて学習したニューラルネットワークの学習信号と,収束に近いヘビアン学習で訓練したニューラルネットワークとの理論的および実証的な接続を確立する。
  論文  参考訳（メタデータ） (2025-05-23T16:16:09Z)
• Learning in Spiking Neural Networks with a Calcium-based Hebbian Rule for Spike-timing-dependent Plasticity [0.46085106405479537]
  我々は, シナプス修飾をカルシウムトレースの関数としてモデル化し, 神経活動を追跡するヘビーンの局所学習規則を提案する。 本モデルでは,ニューロンの平均発火速度を変化させることなく,ネットワークの学習速度を調節する方法について検討した。
  論文  参考訳（メタデータ） (2025-04-09T11:39:59Z)
• Small steps no more: Global convergence of stochastic gradient bandits for arbitrary learning rates [61.091122503406304]
  勾配帯域幅アルゴリズムは, 経験的定値学習率を用いて, ほぼ確実にグローバルな最適ポリシーに収束することを示す。 この結果は、標準の滑らかさと騒音制御の仮定が崩壊するシナリオにおいても、勾配アルゴリズムが適切な探索と利用のバランスを保ち続けていることを証明している。
  論文  参考訳（メタデータ） (2025-02-11T00:12:04Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Smooth Exact Gradient Descent Learning in Spiking Neural Networks [0.0]
  連続的に変化するスパイキングダイナミクスに基づいて、正確な勾配降下を示す。 これらは、スパイクが消えてトライアルの終わりに現れるニューロンモデルによって生成され、その後のダイナミクスには影響しない。
  論文  参考訳（メタデータ） (2023-09-25T20:51:00Z)
• On the Asymptotic Learning Curves of Kernel Ridge Regression under Power-law Decay [17.306230523610864]
  ノイズレベルが小さい場合のみ、非常に広いニューラルネットワークに「良性オーバーフィッティング現象」が存在することを示す。 この現象は,ノイズレベルが小さい場合にのみ,非常に広いニューラルネットワークに存在することが示唆された。
  論文  参考訳（メタデータ） (2023-09-23T11:18:13Z)
• Byzantine-Robust Decentralized Stochastic Optimization with Stochastic Gradient Noise-Independent Learning Error [25.15075119957447]
  分散ネットワーク上でのビザンチン-ロバスト最適化について検討し、各エージェントが近隣のエージェントと定期的に通信して局所モデルを交換し、勾配降下(SGD)により独自の局所モデルを更新する。 このような手法の性能は、最適化プロセス中に逆向きに実行される未知数のビザンチンエージェントに影響される。
  論文  参考訳（メタデータ） (2023-08-10T02:14:23Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Label noise (stochastic) gradient descent implicitly solves the Lasso for quadratic parametrisation [14.244787327283335]
  本研究では, 連続時間モデルを用いて, 4次パラメトリッドモデルのトレーニング力学におけるラベルノイズの役割について検討する。 本研究は,構造ノイズがより高度な一般化を誘導し,実際に観察されるダイナミックスの性能の向上を説明できることを示すものである。
  論文  参考訳（メタデータ） (2022-06-20T15:24:42Z)
• Explicit Regularization in Overparametrized Models via Noise Injection [14.492434617004932]
  簡単な有限次元モデルに対して、小さな摂動が明示的な正則化をもたらすことを示す。 実験により,小摂動がバニラ勾配降下訓練よりも一般化性能の向上につながることが示された。
  論文  参考訳（メタデータ） (2022-06-09T17:00:23Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Bio-plausible Unsupervised Delay Learning for Extracting Temporal Features in Spiking Neural Networks [0.548253258922555]
  ニューロン間の伝導遅延の可塑性は、学習において基本的な役割を果たす。 シナプス遅延の正確な調整を理解することは、効果的な脳にインスパイアされた計算モデルを開発するのに役立ちます。
  論文  参考訳（メタデータ） (2020-11-18T16:25:32Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Identifying Learning Rules From Neural Network Observables [26.96375335939315]
  学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。 本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
  論文  参考訳（メタデータ） (2020-10-22T14:36:54Z)
• Local plasticity rules can learn deep representations using self-supervised contrastive predictions [3.6868085124383616]
  生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。 本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。 この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
  論文  参考訳（メタデータ） (2020-10-16T09:32:35Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。