論文の概要: Towards Biologically Plausible Computing: A Comprehensive Comparison
- arxiv url: http://arxiv.org/abs/2406.16062v1
- Date: Sun, 23 Jun 2024 09:51:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 19:13:57.668696
- Title: Towards Biologically Plausible Computing: A Comprehensive Comparison
- Title（参考訳）: 生物学的プラウジブルコンピューティングを目指して : 総合的な比較
- Authors: Changze Lv, Yufei Gu, Zhengkang Guo, Zhibo Xu, Yixin Wu, Feiran Zhang, Tianyuan Shi, Zhenghua Wang, Ruicheng Yin, Yu Shang, Siqi Zhong, Xiaohua Wang, Muling Wu, Wenhao Liu, Tianlong Li, Jianhao Zhu, Cenyuan Zhang, Zixuan Ling, Xiaoqing Zheng,
- Abstract要約: バックプロパゲーションは、教師あり学習のためのニューラルネットワークのトレーニングの基盤となるアルゴリズムである。
バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二重位相学習の要求により疑問視される。
本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
- 参考スコア（独自算出の注目度）: 24.299920289520013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backpropagation is a cornerstone algorithm in training neural networks for supervised learning, which uses a gradient descent method to update network weights by minimizing the discrepancy between actual and desired outputs. Despite its pivotal role in propelling deep learning advancements, the biological plausibility of backpropagation is questioned due to its requirements for weight symmetry, global error computation, and dual-phase training. To address this long-standing challenge, many studies have endeavored to devise biologically plausible training algorithms. However, a fully biologically plausible algorithm for training multilayer neural networks remains elusive, and interpretations of biological plausibility vary among researchers. In this study, we establish criteria for biological plausibility that a desirable learning algorithm should meet. Using these criteria, we evaluate a range of existing algorithms considered to be biologically plausible, including Hebbian learning, spike-timing-dependent plasticity, feedback alignment, target propagation, predictive coding, forward-forward algorithm, perturbation learning, local losses, and energy-based learning. Additionally, we empirically evaluate these algorithms across diverse network architectures and datasets. We compare the feature representations learned by these algorithms with brain activity recorded by non-invasive devices under identical stimuli, aiming to identify which algorithm can most accurately replicate brain activity patterns. We are hopeful that this study could inspire the development of new biologically plausible algorithms for training multilayer networks, thereby fostering progress in both the fields of neuroscience and machine learning.
- Abstract（参考訳）: バックプロパゲーション(backpropagation)は、教師あり学習のためのニューラルネットワークのトレーニングにおける基盤となるアルゴリズムである。
深層学習の推進において重要な役割を担っているにもかかわらず、バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二相学習の要求により疑問視されている。
この長年にわたる課題に対処するために、多くの研究が生物学的に妥当なトレーニングアルゴリズムの開発に取り組んできた。
しかし、多層ニューラルネットワークを訓練するための完全に生物学的に妥当なアルゴリズムはいまだ解明されておらず、生物学的に妥当な解釈は研究者によって異なる。
本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
これらの基準を用いて,ハビアン学習,スパイクタイピング依存塑性,フィードバックアライメント,ターゲット伝搬,予測符号化,前向きアルゴリズム,摂動学習,局所的損失,エネルギーベース学習など,生物学的に有効なと考えられる既存のアルゴリズムを評価した。
さらに、これらのアルゴリズムを様々なネットワークアーキテクチャやデータセットで実証的に評価する。
これらのアルゴリズムが学習した特徴表現と、同じ刺激下で非侵襲デバイスが記録した脳活動とを比較し、どのアルゴリズムが脳活動パターンを最も正確に再現できるかを特定することを目的とした。
この研究が、神経科学と機械学習の両方の分野における進歩を促進するために、多層ネットワークをトレーニングするための生物学的にもっとも有効な新しいアルゴリズムの開発を促すことを願っている。
関連論文リスト
- Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning [32.122425860826525]
生物学的妥当性の欠如が 批判されている
本稿では,ニューラルネットワークにおけるクレジット代入のための生物学的に妥当なフレームワークである対流学習(CCL)を提案する。
我々の研究は、ニューラルネットワークにおける学習と適応の代替メカニズムを提供する、生物学的にインスパイアされた、そして実証可能な学習アルゴリズムの方向性を示す。
論文 参考訳（メタデータ） (2024-09-30T00:47:13Z) - Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。
本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
論文 参考訳（メタデータ） (2024-09-18T06:01:35Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - A Review of Neuroscience-Inspired Machine Learning [58.72729525961739]
バイオプルーシブル・クレジット・アサインメントは、事実上あらゆる学習条件と互換性があり、エネルギー効率が高い。
本稿では,人工ニューラルネットワークにおける信用代入の生体評価可能なルールをモデル化する,いくつかの重要なアルゴリズムについて検討する。
我々は,このようなアルゴリズムを実用アプリケーションでより有用にするためには,今後の課題に対処する必要があることを論じる。
論文 参考訳（メタデータ） (2024-02-16T18:05:09Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Interpretability of Neural Network With Physiological Mechanisms [5.1971653175509145]
ディープラーニングは、レグレッションと分類タスクの様々な領域で異常な精度を達成した強力な最先端技術として、引き続き機能している。
ニューラルネットワークモデルを最初に提案する目的は、数学的表現アプローチを使用して複雑な人間の脳を理解することを改善することである。
近年のディープラーニング技術は、ブラックボックス近似器として扱われることによって、機能的プロセスの解釈を失う傾向にある。
論文 参考訳（メタデータ） (2022-03-24T21:40:04Z) - A biologically plausible neural network for local supervision in
cortical microcircuits [17.00937011213428]
我々は、明示的なエラーやバックプロパゲーションを避けるニューラルネットワークを訓練するためのアルゴリズムを導出する。
我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
論文 参考訳（メタデータ） (2020-11-30T17:35:22Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳（メタデータ） (2020-03-06T19:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。