論文の概要: Single-phase deep learning in cortico-cortical networks
- arxiv url: http://arxiv.org/abs/2206.11769v1
- Date: Thu, 23 Jun 2022 15:10:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-24 14:41:04.212573
- Title: Single-phase deep learning in cortico-cortical networks
- Title（参考訳）: 皮質皮質ネットワークにおける単相深層学習
- Authors: Will Greedy, Heng Wei Zhu, Joseph Pemberton, Jack Mellor and Rui Ponte
Costa
- Abstract要約: バーストCCNは,バースト活動,短期可塑性,樹状突起を対象とする神経介在物を統合した新しいモデルである。
以上の結果から,脳内皮下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴は,脳内単相効率の深層学習と一致していることが示唆された。
- 参考スコア（独自算出の注目度）: 1.7249361224827535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The error-backpropagation (backprop) algorithm remains the most common
solution to the credit assignment problem in artificial neural networks. In
neuroscience, it is unclear whether the brain could adopt a similar strategy to
correctly modify its synapses. Recent models have attempted to bridge this gap
while being consistent with a range of experimental observations. However,
these models are either unable to effectively backpropagate error signals
across multiple layers or require a multi-phase learning process, neither of
which are reminiscent of learning in the brain. Here, we introduce a new model,
bursting cortico-cortical networks (BurstCCN), which solves these issues by
integrating known properties of cortical networks namely bursting activity,
short-term plasticity (STP) and dendrite-targeting interneurons. BurstCCN
relies on burst multiplexing via connection-type-specific STP to propagate
backprop-like error signals within deep cortical networks. These error signals
are encoded at distal dendrites and induce burst-dependent plasticity as a
result of excitatory-inhibitory topdown inputs. First, we demonstrate that our
model can effectively backpropagate errors through multiple layers using a
single-phase learning process. Next, we show both empirically and analytically
that learning in our model approximates backprop-derived gradients. Finally, we
demonstrate that our model is capable of learning complex image classification
tasks (MNIST and CIFAR-10). Overall, our results suggest that cortical features
across sub-cellular, cellular, microcircuit and systems levels jointly underlie
single-phase efficient deep learning in the brain.
- Abstract（参考訳）: error-backpropagation (backprop) アルゴリズムは、ニューラルネットワークにおけるクレジット割り当て問題の最も一般的な解である。
神経科学において、脳がシナプスを正しく修正する同様の戦略を採用できるかどうかは不明である。
最近のモデルは、様々な実験的な観測と一致しつつ、このギャップを橋渡ししようと試みている。
しかし、これらのモデルは、複数の層にまたがるエラー信号を効果的にバックプロパゲートできないか、多相学習プロセスを必要とする。
本稿では、バースト活動、短期可塑性(stp)、デンドライト標的間ニューロンといった皮質ネットワークの既知の特性を統合することで、これらの問題を解決する新しいモデルであるburstccn(bursting cortico-cortical network)を紹介する。
BurstCCNは、深い皮質ネットワーク内のバックプロップのようなエラー信号を伝達するために、接続タイプ固有のSTPを介してバースト多重化に依存する。
これらのエラー信号は遠位デンドライトで符号化され、興奮抑制トップダウン入力の結果バースト依存可塑性を引き起こす。
まず, 単相学習プロセスを用いて, エラーを複数の層で効果的に再現できることを実証する。
次に、我々のモデルにおける学習がバックプロップ由来の勾配に近似することを示す。
最後に,本モデルは複雑な画像分類タスク(mnistとcifar-10)を学習できることを示す。
以上の結果から,脳内の単相効率な深層学習は,細胞下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴が強いことが示唆された。
関連論文リスト
- Dis-inhibitory neuronal circuits can control the sign of synaptic
plasticity [6.227678387562755]
繰り返し抑制がヘビアン可塑性に顕著に影響を及ぼすと,エラー変調学習が回路レベルで自然に現れることを示す。
本研究は, 機能的および実験的に観察された可塑性規則のギャップを埋めるものである。
論文 参考訳（メタデータ） (2023-10-30T15:06:19Z) - Unsupervised Spiking Neural Network Model of Prefrontal Cortex to study
Task Switching with Synaptic deficiency [0.0]
スパイキングニューラルネットワーク(SNN)を用いた前頭前皮質(PFC)の計算モデルを構築した。
本研究では,SNNが生物学的に妥当な値に近いパラメータを持ち,教師なしのスパイクタイミング依存塑性(STDP)学習規則を用いてモデルを訓練する。
論文 参考訳（メタデータ） (2023-05-23T05:59:54Z) - Learning efficient backprojections across cortical hierarchies in real
time [1.6474865533365743]
階層型大脳皮質階層における効率的なフィードバック重み付けを学習するための生物工学的手法を提案する。
すべての重みは、常にオンの可塑性と同時に学習され、シナプスにローカルに利用可能な情報のみを使用する。
提案手法は幅広いモデルに適用可能であり, 既知の生物学的に妥当な信用代入方法を改善する。
論文 参考訳（メタデータ） (2022-12-20T13:54:04Z) - Go Beyond Multiple Instance Neural Networks: Deep-learning Models based
on Local Pattern Aggregation [0.0]
畳み込みニューラルネットワーク(CNN)は、臨床心電図(ECG)と話者非依存音声の処理においてブレークスルーをもたらした。
本稿では,局所的なパターン集約に基づくディープラーニングモデルを提案する。
LPANetと呼ばれる新しいネットワーク構造には、トリミングと集約操作が組み込まれている。
論文 参考訳（メタデータ） (2022-05-28T13:18:18Z) - Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
自律運転システムには2つの主要なアルゴリズムアプローチがある。
ディープラーニングだけでは、多くの分野で最先端の結果が得られています。
しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
論文 参考訳（メタデータ） (2022-03-28T20:29:50Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Sign and Relevance Learning [0.0]
生物学的に現実的な強化学習の標準モデルは、浅いネットワークの使用を暗示するグローバルエラー信号を使用する。
本研究では,塑性変化の兆候のみを伝播させることにより,この問題を解決する新しいネットワークを提案する。
ニューロ変調は、修正エラーまたは関連信号として理解でき、エラー信号のトップダウンサインは、長期的うつ病が発生するかどうかを決定する。
論文 参考訳（メタデータ） (2021-10-14T11:57:57Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳（メタデータ） (2020-06-29T17:59:26Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。