論文の概要: Emergence of Hebbian Dynamics in Regularized Non-Local Learners
- arxiv url: http://arxiv.org/abs/2505.18069v1
- Date: Fri, 23 May 2025 16:16:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:34.220351
- Title: Emergence of Hebbian Dynamics in Regularized Non-Local Learners
- Title（参考訳）: 正規化非局所学習者におけるヘビアンダイナミクスの出現
- Authors: David Koplow, Tomaso Poggio, Liu Ziyin,
- Abstract要約: Gradient Descent(SGD)は、最先端の機械学習モデルの大半を支える、極めて効果的な学習アルゴリズムとして登場した。
生物学的脳は非局所的であるため勾配降下を実装できないと広く信じられており、実験的な証拠はほとんど見つかっていない。
本稿では,重み付きSGDを用いて学習したニューラルネットワークの学習信号と,収束に近いヘビアン学習で訓練したニューラルネットワークとの理論的および実証的な接続を確立する。
- 参考スコア（独自算出の注目度）: 1.919481257269497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stochastic Gradient Descent (SGD) has emerged as a remarkably effective learning algorithm, underpinning nearly all state-of-the-art machine learning models, from large language models to autonomous vehicles. Despite its practical success, SGD appears fundamentally distinct from biological learning mechanisms. It is widely believed that the biological brain can not implement gradient descent because it is nonlocal, and we have found little (if any) experimental evidence for it. In contrast, the brain is widely thought to learn via local Hebbian learning principles, which have been seen as incompatible with gradient descent. In this paper, we establish a theoretical and empirical connection between the learning signals of neural networks trained using SGD with weight decay and those trained with Hebbian learning near convergence. We show that SGD with regularization can appear to learn according to a Hebbian rule, and SGD with injected noise according to an anti-Hebbian rule. We also provide empirical evidence that Hebbian learning properties can emerge in a network with weight decay from virtually any learning rule--even random ones. These results may bridge a long-standing gap between artificial and biological learning, revealing Hebbian properties as an epiphenomenon of deeper optimization principles and cautioning against interpreting their presence in neural data as evidence against more complex hetero-synaptic mechanisms.
- Abstract（参考訳）: Stochastic Gradient Descent(SGD)は、大規模言語モデルから自動運転車まで、最先端の機械学習モデルの大半を基盤として、極めて効果的な学習アルゴリズムとして登場した。
実用的成功にもかかわらず、SGDは生物学的学習機構と根本的に異なるように見える。
生物学的脳は非局所的であるため勾配降下を実装できないと広く信じられており、実験的な証拠はほとんど見つかっていない。
対照的に、脳は、勾配の降下と相容れないと見なされてきた地元のヘビーンの学習原理を通じて学習することが広く考えられている。
本稿では,重み付きSGDを用いて学習したニューラルネットワークの学習信号と,収束に近いヘビアン学習で訓練したニューラルネットワークとの理論的および実証的な接続を確立する。
正規化したSGDはヘビーンの規則に従って学習でき、SGDは反ヘビーンの規則に従って注入された雑音で学習できることを示す。
また、ヘビアン学習特性が、ほとんどどんな学習規則からでも重み減衰したネットワークに現れるという経験的証拠も提供する。
これらの結果は、人工学習と生物学的学習の長年のギャップを橋渡しし、より深い最適化原理のエピノメノンとしてヘビアン特性を明らかにし、より複雑なヘテロシナプス機構の証拠として神経データにおけるヘビアンの存在を解釈しないように警告する。
関連論文リスト
- Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳（メタデータ） (2025-05-16T13:49:43Z) - Emerging NeoHebbian Dynamics in Forward-Forward Learning: Implications for Neuromorphic Computing [7.345136916791223]
フォワード・フォワードアルゴリズム(FFA)は各層に局所学習規則を用いる。
局所学習を駆動する良さ関数として2乗ユークリッドノルムを用いる場合、FFAはネオ・ヘビアン学習規則と等価であることを示す。
論文 参考訳（メタデータ） (2024-06-24T09:33:56Z) - SGD with Large Step Sizes Learns Sparse Features [22.959258640051342]
本稿では、ニューラルネットワークのトレーニングにおいて、グラディエント・ディフレッシュ(SGD)のダイナミクスの重要な特徴を紹介する。
より長いステップサイズでは、損失ランドスケープにおいてSGDは高く保たれ、暗黙の正規化がうまく機能し、スパース表現を見つけることができる。
論文 参考訳（メタデータ） (2022-10-11T11:00:04Z) - Single-phase deep learning in cortico-cortical networks [1.7249361224827535]
バーストCCNは,バースト活動,短期可塑性,樹状突起を対象とする神経介在物を統合した新しいモデルである。
以上の結果から,脳内皮下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴は,脳内単相効率の深層学習と一致していることが示唆された。
論文 参考訳（メタデータ） (2022-06-23T15:10:57Z) - Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
自律運転システムには2つの主要なアルゴリズムアプローチがある。
ディープラーニングだけでは、多くの分野で最先端の結果が得られています。
しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
論文 参考訳（メタデータ） (2022-03-28T20:29:50Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳（メタデータ） (2021-12-06T18:17:08Z) - A More Biologically Plausible Local Learning Rule for ANNs [6.85316573653194]
提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。
MNISTとIRISデータセットのバイナリ分類に関する予備評価は、バックプロパゲーションと同等の性能を示す。
学習のローカルな性質は、ネットワークにおける大規模分散学習と並列学習の可能性をもたらす。
論文 参考訳（メタデータ） (2020-11-24T10:35:47Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Local plasticity rules can learn deep representations using
self-supervised contrastive predictions [3.6868085124383616]
生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。
本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。
この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
論文 参考訳（メタデータ） (2020-10-16T09:32:35Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳（メタデータ） (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。