論文の概要: A Computational Framework of Cortical Microcircuits Approximates
Sign-concordant Random Backpropagation
- arxiv url: http://arxiv.org/abs/2205.07292v1
- Date: Sun, 15 May 2022 14:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 06:42:51.537573
- Title: A Computational Framework of Cortical Microcircuits Approximates
Sign-concordant Random Backpropagation
- Title（参考訳）: 符号一致ランダムバックプロパゲーションを近似する皮質微小回路の計算枠組み
- Authors: Yukun Yang, Peng Li
- Abstract要約: 本稿では,新しいマイクロ回路アーキテクチャとヘビアン学習規則の支持からなる仮説的枠組みを提案する。
我々は, 局所的な区画内でのヘビアン則を用いて, シナプス重みを更新し, 生物学的に妥当な方法で教師あり学習を実現する。
提案するフレームワークは、MNISTやCIFAR10などいくつかのデータセットでベンチマークされ、BP互換の有望な精度を示す。
- 参考スコア（独自算出の注目度）: 7.601127912271984
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Several recent studies attempt to address the biological implausibility of
the well-known backpropagation (BP) method. While promising methods such as
feedback alignment, direct feedback alignment, and their variants like
sign-concordant feedback alignment tackle BP's weight transport problem, their
validity remains controversial owing to a set of other unsolved issues. In this
work, we answer the question of whether it is possible to realize random
backpropagation solely based on mechanisms observed in neuroscience. We propose
a hypothetical framework consisting of a new microcircuit architecture and its
supporting Hebbian learning rules. Comprising three types of cells and two
types of synaptic connectivity, the proposed microcircuit architecture computes
and propagates error signals through local feedback connections and supports
the training of multi-layered spiking neural networks with a globally defined
spiking error function. We employ the Hebbian rule operating in local
compartments to update synaptic weights and achieve supervised learning in a
biologically plausible manner. Finally, we interpret the proposed framework
from an optimization point of view and show its equivalence to sign-concordant
feedback alignment. The proposed framework is benchmarked on several datasets
including MNIST and CIFAR10, demonstrating promising BP-comparable accuracy.
- Abstract（参考訳）: いくつかの最近の研究は、よく知られたバックプロパゲーション法(BP)の生物学的不確実性に対処しようと試みている。
フィードバックアライメントや直接フィードバックアライメントなどの有望な手法、サインコンコーダントフィードバックアライメントのようなバリエーションはBPの重量輸送問題に対処するが、他の未解決問題のためにその妥当性は議論の余地がある。
本研究では,神経科学で観察されるメカニズムのみに基づいてランダムなバックプロパゲーションを実現することができるかという疑問に答える。
本稿では,新しいマイクロ回路アーキテクチャとヘビアン学習規則の支持からなる仮説的枠組みを提案する。
3種類のセルと2種類のシナプス接続からなるマイクロサーキットアーキテクチャは、局所的なフィードバック接続を介してエラー信号を計算し、伝播し、グローバルに定義されたスパイキングエラー関数による多層スパイキングニューラルネットワークのトレーニングをサポートする。
我々は,局所的なコンパートメントで動作するヒュービアン則を用いてシナプス重みを更新し,生物学的に妥当な方法で教師付き学習を実現する。
最後に,提案手法を最適化の観点から解釈し,符号一致フィードバックアライメントと等価性を示す。
提案するフレームワークは、MNISTやCIFAR10などいくつかのデータセットでベンチマークされ、BP互換の有望な精度を示す。
関連論文リスト
- Correlative Information Maximization: A Biologically Plausible Approach
to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。
このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。
提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
論文 参考訳（メタデータ） (2023-06-07T22:14:33Z) - The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳（メタデータ） (2023-01-04T05:34:48Z) - Position-aware Structure Learning for Graph Topology-imbalance by
Relieving Under-reaching and Over-squashing [67.83086131278904]
トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。
PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。
私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
論文 参考訳（メタデータ） (2022-08-17T14:04:21Z) - Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。
我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。
DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文 参考訳（メタデータ） (2022-04-14T22:06:21Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳（メタデータ） (2022-04-05T12:52:45Z) - Constrained Parameter Inference as a Principle for Learning [5.080518039966762]
本稿では,制約パラメータ推論(COPI)を学習の新たな原則として提案する。
COPIは、神経状態の非相関な入力とトップダウン摂動の制約下でのネットワークパラメータの推定を可能にする。
我々はCOPIが生物学的に妥当であるだけでなく、誤りの標準的なバックプロパゲーションと比較して、高速学習の利点も示していることを示した。
論文 参考訳（メタデータ） (2022-03-22T13:40:57Z) - BioLeaF: A Bio-plausible Learning Framework for Training of Spiking
Neural Networks [4.698975219970009]
本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。
マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。
実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
論文 参考訳（メタデータ） (2021-11-14T10:32:22Z) - Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian
Modeling [68.69431580852535]
サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。
我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。
我々は2つの異なる社会問題に対してアルゴリズムを実行する。
論文 参考訳（メタデータ） (2021-07-07T03:57:22Z) - A simple normative network approximates local non-Hebbian learning in
the cortex [12.940770779756482]
神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。
ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。
オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
論文 参考訳（メタデータ） (2020-10-23T20:49:44Z) - A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack
and Learning [122.49765136434353]
本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。
また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。
いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
論文 参考訳（メタデータ） (2020-10-15T16:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。