論文の概要: Cortico-cerebellar networks as decoupling neural interfaces
- arxiv url: http://arxiv.org/abs/2110.11501v1
- Date: Thu, 21 Oct 2021 22:02:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-25 15:21:33.441772
- Title: Cortico-cerebellar networks as decoupling neural interfaces
- Title（参考訳）: デカップリングニューラルインタフェースとしての皮質-小脳ネットワーク
- Authors: Joseph Pemberton and Ellen Boven and Richard Apps and Rui Ponte Costa
- Abstract要約: 脳は信用代入問題を著しく解決する。
ニューラルネットワークにまたがってクレジットを割り当てるには、原則として、特定のニューラルネットワーク計算が完了するのを待つ必要がある。
ディープラーニングの手法は、フォワードとフィードバックのフェーズの両方で、同様のロックの制約に悩まされる。
そこで本研究では、大脳皮質がDNIと同様のロック問題を解くのに役立つ特化脳野である小脳を提案する。
- 参考スコア（独自算出の注目度）: 1.1879716317856945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The brain solves the credit assignment problem remarkably well. For credit to
be assigned across neural networks they must, in principle, wait for specific
neural computations to finish. How the brain deals with this inherent locking
problem has remained unclear. Deep learning methods suffer from similar locking
constraints both on the forward and feedback phase. Recently, decoupled neural
interfaces (DNIs) were introduced as a solution to the forward and feedback
locking problems in deep networks. Here we propose that a specialised brain
region, the cerebellum, helps the cerebral cortex solve similar locking
problems akin to DNIs. To demonstrate the potential of this framework we
introduce a systems-level model in which a recurrent cortical network receives
online temporal feedback predictions from a cerebellar module. We test this
cortico-cerebellar recurrent neural network (ccRNN) model on a number of
sensorimotor (line and digit drawing) and cognitive tasks (pattern recognition
and caption generation) that have been shown to be cerebellar-dependent. In all
tasks, we observe that ccRNNs facilitates learning while reducing ataxia-like
behaviours, consistent with classical experimental observations. Moreover, our
model also explains recent behavioural and neuronal observations while making
several testable predictions across multiple levels. Overall, our work offers a
novel perspective on the cerebellum as a brain-wide decoupling machine for
efficient credit assignment and opens a new avenue between deep learning and
neuroscience.
- Abstract（参考訳）: 脳は、クレジット割り当ての問題を驚くほどうまく解決します。
クレジットをニューラルネットワークに割り当てるためには、原則として、特定のニューラルネットワークの計算が完了するのを待つ必要がある。
この固有のロック問題に対する脳の対応は、まだはっきりしていない。
ディープラーニング手法は、フォワードとフィードバックフェーズの両方で、同様のロック制約に悩まされる。
近年,ディープネットワークにおける前方およびフィードバックロック問題に対する解として,decoupled neural interfaces (dnis)が導入された。
そこで本研究では、大脳皮質がDNIと同様のロック問題を解くのに役立つ特化脳野である小脳を提案する。
このフレームワークの可能性を実証するために、脳小脳モジュールからオンラインの時間的フィードバック予測を受けるリカレント皮質ネットワークのシステムレベルモデルを導入する。
この皮質-小脳リカレントニューラルネットワーク(ccrnn)モデルを,小脳に依存した複数の感覚運動(線画と指画)と認知課題(パターン認識とキャプション生成)でテストした。
すべてのタスクにおいて,ccrnnは,古典的実験観察と整合して,失調症様の動作を減少させながら学習を促進することが観察される。
さらに,最近の行動観察とニューロン観察についても説明し,複数のレベルにまたがって検証可能な予測を行った。
全体として、私たちの研究は、効率的なクレジット割り当てのための脳全体のデカップリングマシンとして小脳に関する新しい視点を提供し、深層学習と神経科学の間の新たな道を開きます。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like
Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。
本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。
3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文 参考訳（メタデータ） (2023-10-15T21:07:09Z) - A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文 参考訳（メタデータ） (2023-07-27T17:46:17Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - A Neural Network Model of Continual Learning with Cognitive Control [1.8051006704301769]
本研究では,認知制御機構を備えたニューラルネットワークが,トライアルがブロックされた場合に破滅的な忘れを生じさせないことを示す。
さらに、制御信号にアクティブなメンテナンスのバイアスがある場合、インターリービングをブロックする利点を示す。
我々の研究は、ニューラルネットワークにおける継続的な学習を支援する認知制御の可能性を強調し、人体で観察されたブロックの利点を説明する。
論文 参考訳（メタデータ） (2022-02-09T23:53:05Z) - Learning by Active Forgetting for Neural Networks [36.47528616276579]
記憶と忘れのメカニズムは、人間の学習記憶システムにおいて、同じコインの2つの側面である。
現代の機械学習システムは、記憶を良くすることで、生涯にわたる学習能力を持つ機械を育むために取り組んできた。
本稿では,ニューラルネットワークを用いた能動的記憶機構による学習モデルを提案する。
論文 参考訳（メタデータ） (2021-11-21T14:55:03Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。