論文の概要: Towards Biologically Plausible Computing: A Comprehensive Comparison
- arxiv url: http://arxiv.org/abs/2406.16062v1
- Date: Sun, 23 Jun 2024 09:51:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 19:13:57.668696
- Title: Towards Biologically Plausible Computing: A Comprehensive Comparison
- Title（参考訳）: 生物学的プラウジブルコンピューティングを目指して : 総合的な比較
- Authors: Changze Lv, Yufei Gu, Zhengkang Guo, Zhibo Xu, Yixin Wu, Feiran Zhang, Tianyuan Shi, Zhenghua Wang, Ruicheng Yin, Yu Shang, Siqi Zhong, Xiaohua Wang, Muling Wu, Wenhao Liu, Tianlong Li, Jianhao Zhu, Cenyuan Zhang, Zixuan Ling, Xiaoqing Zheng,
- Abstract要約: バックプロパゲーションは、教師あり学習のためのニューラルネットワークのトレーニングの基盤となるアルゴリズムである。
バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二重位相学習の要求により疑問視される。
本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
- 参考スコア（独自算出の注目度）: 24.299920289520013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backpropagation is a cornerstone algorithm in training neural networks for supervised learning, which uses a gradient descent method to update network weights by minimizing the discrepancy between actual and desired outputs. Despite its pivotal role in propelling deep learning advancements, the biological plausibility of backpropagation is questioned due to its requirements for weight symmetry, global error computation, and dual-phase training. To address this long-standing challenge, many studies have endeavored to devise biologically plausible training algorithms. However, a fully biologically plausible algorithm for training multilayer neural networks remains elusive, and interpretations of biological plausibility vary among researchers. In this study, we establish criteria for biological plausibility that a desirable learning algorithm should meet. Using these criteria, we evaluate a range of existing algorithms considered to be biologically plausible, including Hebbian learning, spike-timing-dependent plasticity, feedback alignment, target propagation, predictive coding, forward-forward algorithm, perturbation learning, local losses, and energy-based learning. Additionally, we empirically evaluate these algorithms across diverse network architectures and datasets. We compare the feature representations learned by these algorithms with brain activity recorded by non-invasive devices under identical stimuli, aiming to identify which algorithm can most accurately replicate brain activity patterns. We are hopeful that this study could inspire the development of new biologically plausible algorithms for training multilayer networks, thereby fostering progress in both the fields of neuroscience and machine learning.
- Abstract（参考訳）: バックプロパゲーション(backpropagation)は、教師あり学習のためのニューラルネットワークのトレーニングにおける基盤となるアルゴリズムである。
深層学習の推進において重要な役割を担っているにもかかわらず、バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二相学習の要求により疑問視されている。
この長年にわたる課題に対処するために、多くの研究が生物学的に妥当なトレーニングアルゴリズムの開発に取り組んできた。
しかし、多層ニューラルネットワークを訓練するための完全に生物学的に妥当なアルゴリズムはいまだ解明されておらず、生物学的に妥当な解釈は研究者によって異なる。
本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
これらの基準を用いて,ハビアン学習,スパイクタイピング依存塑性,フィードバックアライメント,ターゲット伝搬,予測符号化,前向きアルゴリズム,摂動学習,局所的損失,エネルギーベース学習など,生物学的に有効なと考えられる既存のアルゴリズムを評価した。
さらに、これらのアルゴリズムを様々なネットワークアーキテクチャやデータセットで実証的に評価する。
これらのアルゴリズムが学習した特徴表現と、同じ刺激下で非侵襲デバイスが記録した脳活動とを比較し、どのアルゴリズムが脳活動パターンを最も正確に再現できるかを特定することを目的とした。
この研究が、神経科学と機械学習の両方の分野における進歩を促進するために、多層ネットワークをトレーニングするための生物学的にもっとも有効な新しいアルゴリズムの開発を促すことを願っている。
関連論文リスト
- Biological Neurons Compete with Deep Reinforcement Learning in Sample Efficiency in a Simulated Gameworld [2.003941363902692]
我々は,in vitro生物ニューラルネットワークの学習効率と最先端深部強化学習(RL)アルゴリズムを比較し,ゲームポンの簡易シミュレーションを行った。
複数の種類の情報入力でテストしても、生物学的ニューロンは、すべての深層強化学習エージェントよりも学習が速かった。
論文 参考訳（メタデータ） (2024-05-27T08:38:17Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - A Review of Neuroscience-Inspired Machine Learning [58.72729525961739]
バイオプルーシブル・クレジット・アサインメントは、事実上あらゆる学習条件と互換性があり、エネルギー効率が高い。
本稿では,人工ニューラルネットワークにおける信用代入の生体評価可能なルールをモデル化する,いくつかの重要なアルゴリズムについて検討する。
我々は,このようなアルゴリズムを実用アプリケーションでより有用にするためには,今後の課題に対処する必要があることを論じる。
論文 参考訳（メタデータ） (2024-02-16T18:05:09Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Interpretability of Neural Network With Physiological Mechanisms [5.1971653175509145]
ディープラーニングは、レグレッションと分類タスクの様々な領域で異常な精度を達成した強力な最先端技術として、引き続き機能している。
ニューラルネットワークモデルを最初に提案する目的は、数学的表現アプローチを使用して複雑な人間の脳を理解することを改善することである。
近年のディープラーニング技術は、ブラックボックス近似器として扱われることによって、機能的プロセスの解釈を失う傾向にある。
論文 参考訳（メタデータ） (2022-03-24T21:40:04Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A biologically plausible neural network for local supervision in
cortical microcircuits [17.00937011213428]
我々は、明示的なエラーやバックプロパゲーションを避けるニューラルネットワークを訓練するためのアルゴリズムを導出する。
我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
論文 参考訳（メタデータ） (2020-11-30T17:35:22Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-22T17:56:59Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳（メタデータ） (2020-03-06T19:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。