論文の概要: A biologically plausible neural network for local supervision in
cortical microcircuits
- arxiv url: http://arxiv.org/abs/2011.15031v1
- Date: Mon, 30 Nov 2020 17:35:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 23:59:41.953698
- Title: A biologically plausible neural network for local supervision in
cortical microcircuits
- Title(参考訳): 生体可塑性ニューラルネットワークによる皮質微小循環の局所的監視
- Authors: Siavash Golkar, David Lipshutz, Yanis Bahroun, Anirvan M. Sengupta,
Dmitri B. Chklovskii
- Abstract要約: 我々は、明示的なエラーやバックプロパゲーションを避けるニューラルネットワークを訓練するためのアルゴリズムを導出する。
我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
- 参考スコア(独自算出の注目度): 17.00937011213428
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The backpropagation algorithm is an invaluable tool for training artificial
neural networks; however, because of a weight sharing requirement, it does not
provide a plausible model of brain function. Here, in the context of a
two-layer network, we derive an algorithm for training a neural network which
avoids this problem by not requiring explicit error computation and
backpropagation. Furthermore, our algorithm maps onto a neural network that
bears a remarkable resemblance to the connectivity structure and learning rules
of the cortex. We find that our algorithm empirically performs comparably to
backprop on a number of datasets.
- Abstract(参考訳): バックプロパゲーションアルゴリズムは、ニューラルネットワークをトレーニングするための貴重なツールであるが、ウェイトシェアリングの要件のため、脳機能の妥当なモデルを提供していない。
ここで、二層ネットワークの文脈において、明示的な誤り計算とバックプロパゲーションを必要とせず、この問題を回避するニューラルネットワークのトレーニングアルゴリズムを導出する。
さらに、我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
提案アルゴリズムは,複数のデータセットのバックプロップに対して,実験的に比較可能な性能を示す。
関連論文リスト
- Taming Binarized Neural Networks and Mixed-Integer Programs [2.7624021966289596]
バイナライズされたニューラルネットワークはテーム表現を許容することを示す。
これにより、Bolte et al. のフレームワークを暗黙の微分に使用できる。
このアプローチは、より広範な混合整数プログラムのクラスにも使用することができる。
論文 参考訳(メタデータ) (2023-10-05T21:04:16Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Neural Bayesian Network Understudy [13.28673601999793]
ニューラルネットワークは条件付き確率を出力するように訓練でき、ベイズネットワークとほぼ同じ機能を提供する。
ニューラルネットワークに与えられた因果構造から推定される独立関係を符号化する2つのトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2022-11-15T15:56:51Z) - Seeking Interpretability and Explainability in Binary Activated Neural
Networks [3.341112547288814]
本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。
本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
論文 参考訳(メタデータ) (2022-09-07T20:11:17Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-06T13:18:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳(メタデータ) (2021-05-27T12:27:24Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳(メタデータ) (2020-12-30T18:46:50Z) - On Tractable Representations of Binary Neural Networks [23.50970665150779]
我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。
実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
論文 参考訳(メタデータ) (2020-04-05T03:21:26Z) - Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。
モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。
生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-01-01T15:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。