論文の概要: Dendritic Localized Learning: Toward Biologically Plausible Algorithm
- arxiv url: http://arxiv.org/abs/2501.09976v1
- Date: Fri, 17 Jan 2025 06:35:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-20 14:00:38.419415
- Title: Dendritic Localized Learning: Toward Biologically Plausible Algorithm
- Title（参考訳）: 樹状局所学習 : 生物学的に可塑性なアルゴリズムを目指して
- Authors: Changze Lv, Jingwen Xu, Yiyang Lu, Xiaohua Wang, Zhenghua Wang, Zhibo Xu, Di Yu, Xin Du, Xiaoqing Zheng, Xuanjing Huang,
- Abstract要約: バックプロパゲーションは、重み対称性、大域的エラー信号への依存、および訓練の二重相の性質により挑戦される。
錐体ニューロンの力学と塑性に着想を得て,これらの課題を克服するための新しい学習アルゴリズムであるDendritic Localized Learning (DLL)を提案する。
広汎な実験実験により、DLLは最先端の性能を達成しつつ、生物学的可視性アルゴリズムの3つの基準をすべて満足することを示した。
- 参考スコア（独自算出の注目度）: 41.362676232853765
- License:
- Abstract: Backpropagation is the foundational algorithm for training neural networks and a key driver of deep learning's success. However, its biological plausibility has been challenged due to three primary limitations: weight symmetry, reliance on global error signals, and the dual-phase nature of training, as highlighted by the existing literature. Although various alternative learning approaches have been proposed to address these issues, most either fail to satisfy all three criteria simultaneously or yield suboptimal results. Inspired by the dynamics and plasticity of pyramidal neurons, we propose Dendritic Localized Learning (DLL), a novel learning algorithm designed to overcome these challenges. Extensive empirical experiments demonstrate that DLL satisfies all three criteria of biological plausibility while achieving state-of-the-art performance among algorithms that meet these requirements. Furthermore, DLL exhibits strong generalization across a range of architectures, including MLPs, CNNs, and RNNs. These results, benchmarked against existing biologically plausible learning algorithms, offer valuable empirical insights for future research. We hope this study can inspire the development of new biologically plausible algorithms for training multilayer networks and advancing progress in both neuroscience and machine learning.
- Abstract（参考訳）: バックプロパゲーションはニューラルネットワークをトレーニングするための基礎的なアルゴリズムであり、ディープラーニングの成功の重要な要因である。
しかし、その生物学的妥当性は、重量対称性、大域的エラー信号への依存、および既存の文献で強調されている訓練の二重相の性質の3つの主要な制限により、疑問視されている。
これらの問題に対処するために、様々な代替学習手法が提案されているが、ほとんどの場合、3つの基準を同時に満たすか、あるいは準最適結果を得ることができない。
錐体ニューロンの力学と塑性に着想を得て,これらの課題を克服するための新しい学習アルゴリズムであるDendritic Localized Learning (DLL)を提案する。
広範囲にわたる実証実験により、DLLはこれらの要件を満たすアルゴリズムの最先端性能を達成しつつ、生物学的可視性の3つの基準をすべて満たしていることが示された。
さらに、DLLは、MLP、CNN、RNNなど、さまざまなアーキテクチャにまたがる強力な一般化を示している。
これらの結果は、既存の生物学的に実証可能な学習アルゴリズムと比較され、将来の研究に有用な経験的洞察を与えてくれる。
この研究は、多層ネットワークをトレーニングし、神経科学と機械学習の両方の進歩を推し進めるための、生物学的にもっとも有効な新しいアルゴリズムの開発を促すことを願っている。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Towards Biologically Plausible Computing: A Comprehensive Comparison [24.299920289520013]
バックプロパゲーションは、教師あり学習のためのニューラルネットワークのトレーニングの基盤となるアルゴリズムである。
バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二重位相学習の要求により疑問視される。
本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
論文 参考訳（メタデータ） (2024-06-23T09:51:20Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - Probing Biological and Artificial Neural Networks with Task-dependent
Neural Manifolds [12.037840490243603]
本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。
学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。
これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
論文 参考訳（メタデータ） (2023-12-21T20:40:51Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳（メタデータ） (2021-03-08T11:52:51Z) - Equilibrium Propagation for Complete Directed Neural Networks [0.0]
最も成功したニューラルネットワークの学習アルゴリズム、バックプロパゲーションは生物学的に不可能であると考えられている。
我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
論文 参考訳（メタデータ） (2020-06-15T22:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。