論文の概要: Self-Assembly of a Biologically Plausible Learning Circuit

• arxiv url: http://arxiv.org/abs/2412.20018v1
• Date: Sat, 28 Dec 2024 04:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:02.528262
• Title: Self-Assembly of a Biologically Plausible Learning Circuit
• Title（参考訳）: 生物学的に可塑性な学習回路の自己組織化
• Authors: Qianli Liao, Liu Ziyin, Yulu Gan, Brian Cheung, Mark Harnett, Tomaso Poggio,
• Abstract要約: 本稿では,生物学的に検証可能で,バックプロパゲーションと同様に機能するネットワークの重みを更新する回路を提案する。 我々の提案の重要な予測は、初期ランダム接続とヘテロシナプス可塑性規則から生じる基本回路の自己組織化の驚くべき性質である。
• 参考スコア（独自算出の注目度）: 4.521435318601485
• License:
• Abstract: Over the last four decades, the amazing success of deep learning has been driven by the use of Stochastic Gradient Descent (SGD) as the main optimization technique. The default implementation for the computation of the gradient for SGD is backpropagation, which, with its variations, is used to this day in almost all computer implementations. From the perspective of neuroscientists, however, the consensus is that backpropagation is unlikely to be used by the brain. Though several alternatives have been discussed, none is so far supported by experimental evidence. Here we propose a circuit for updating the weights in a network that is biologically plausible, works as well as backpropagation, and leads to verifiable predictions about the anatomy and the physiology of a characteristic motif of four plastic synapses between ascending and descending cortical streams. A key prediction of our proposal is a surprising property of self-assembly of the basic circuit, emerging from initial random connectivity and heterosynaptic plasticity rules.
• Abstract（参考訳）: 過去40年にわたって、ディープラーニングの驚くべき成功は、SGD(Stochastic Gradient Descent)を主要な最適化手法として利用することによって加速されてきた。 SGDの勾配計算のデフォルト実装はバックプロパゲーション(英語版)であり、現在ではほとんど全てのコンピュータ実装で使われている。 しかし、神経科学者の観点から見ると、バックプロパゲーションが脳によって使用される可能性は低いという意見が一致している。 いくつかの代替案が議論されているが、今のところ実験的な証拠は支持されていない。 本稿では, 生物学的に可塑性であり, バックプロパゲーションとして機能し, 上行大動脈と下行大動脈の間に生じる4つの可塑性シナプスの特徴的モチーフの解剖学的および生理的特性について, 検証可能な予測を導出する回路を提案する。 我々の提案の重要な予測は、初期ランダム接続とヘテロシナプス可塑性規則から生じる基本回路の自己組立の驚くべき性質である。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Synaptic Dynamics Realize First-order Adaptive Learning and Weight Symmetry [7.601127912271984]
  我々は, シナプスにおける生物学的に証明可能な機構を用いて, アダム粒子の実現を実証した。 本稿では, 後方伝搬における重量輸送問題の生物学的不確実性を回避するための新しいアプローチを提案する。 これらのメカニズムは、生物学的シナプス力学が学習を促進する過程に光を放つ可能性がある。
  論文  参考訳（メタデータ） (2022-12-01T17:04:31Z)
• Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways [0.0]
  我々は,解釈可能で生物学的に妥当な可塑性規則を発見するための新しいメタ可塑性法を開発した。 本研究は,生物の制約を満たす効果的な,解釈可能な学習規則を見出すためのメタ塑性の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2022-10-28T21:40:56Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Single-phase deep learning in cortico-cortical networks [1.7249361224827535]
  バーストCCNは,バースト活動,短期可塑性,樹状突起を対象とする神経介在物を統合した新しいモデルである。 以上の結果から,脳内皮下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴は,脳内単相効率の深層学習と一致していることが示唆された。
  論文  参考訳（メタデータ） (2022-06-23T15:10:57Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Analytically Tractable Bayesian Deep Q-Learning [0.0]
  我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。 我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
  論文  参考訳（メタデータ） (2021-06-21T13:11:52Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Complexity-based speciation and genotype representation for neuroevolution [81.21462458089142]
  本稿では、進化するネットワークを隠されたニューロンの数に基づいて種に分類する神経進化の種分化原理を提案する。 提案された種分化原理は、種および生態系全体における多様性の促進と保存を目的として設計されたいくつかの技術で採用されている。
  論文  参考訳（メタデータ） (2020-10-11T06:26:56Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。