論文の概要: A More Biologically Plausible Local Learning Rule for ANNs
- arxiv url: http://arxiv.org/abs/2011.12012v1
- Date: Tue, 24 Nov 2020 10:35:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 13:09:40.915709
- Title: A More Biologically Plausible Local Learning Rule for ANNs
- Title（参考訳）: ANNのより生物学的に可能な局所学習規則
- Authors: Shashi Kant Gupta
- Abstract要約: 提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。
MNISTとIRISデータセットのバイナリ分類に関する予備評価は、バックプロパゲーションと同等の性能を示す。
学習のローカルな性質は、ネットワークにおける大規模分散学習と並列学習の可能性をもたらす。
- 参考スコア（独自算出の注目度）: 6.85316573653194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The backpropagation algorithm is often debated for its biological
plausibility. However, various learning methods for neural architecture have
been proposed in search of more biologically plausible learning. Most of them
have tried to solve the "weight transport problem" and try to propagate errors
backward in the architecture via some alternative methods. In this work, we
investigated a slightly different approach that uses only the local information
which captures spike timing information with no propagation of errors. The
proposed learning rule is derived from the concepts of spike timing dependant
plasticity and neuronal association. A preliminary evaluation done on the
binary classification of MNIST and IRIS datasets with two hidden layers shows
comparable performance with backpropagation. The model learned using this
method also shows a possibility of better adversarial robustness against the
FGSM attack compared to the model learned through backpropagation of
cross-entropy loss. The local nature of learning gives a possibility of large
scale distributed and parallel learning in the network. And finally, the
proposed method is a more biologically sound method that can probably help in
understanding how biological neurons learn different abstractions.
- Abstract（参考訳）: バックプロパゲーションアルゴリズムはその生物学的妥当性についてしばしば議論されている。
しかし、より生物学的に妥当な学習を探すために、ニューラルネットワークの様々な学習方法が提案されている。
彼らの多くは、"重輸送問題"を解決し、いくつかの代替手法を通じてアーキテクチャの後方にエラーを伝達しようと試みている。
本研究では,誤差の伝播を伴わずにスパイクタイミング情報をキャプチャする局所情報のみを利用するアプローチについて検討した。
提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。
MNISTとIRISデータセットの2つの隠れレイヤによるバイナリ分類に関する予備評価は、バックプロパゲーションと同等のパフォーマンスを示す。
この手法を用いて学習したモデルはまた、クロスエントロピー損失のバックプロパゲーションにより学習したモデルと比較して、FGSM攻撃に対するより良い敵の堅牢性を示す。
学習のローカルな性質は、ネットワークにおける大規模分散と並列学習の可能性をもたらす。
最後に、提案手法はより生物学的に健全な方法であり、生物学的ニューロンがどのように異なる抽象化を学ぶかを理解するのに役立つだろう。
関連論文リスト
- Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳（メタデータ） (2024-03-02T00:56:05Z) - Finding Interpretable Class-Specific Patterns through Efficient Neural
Search [43.454121220860564]
本稿では、データから微分パターンを抽出する、本質的に解釈可能なバイナリニューラルネットワークアーキテクチャDNAPSを提案する。
DiffNapsは何十万もの機能にスケーラブルで、ノイズに強い。
3つの生物学的応用を含む人工的および実世界のデータについて、DiffNapsは競合と異なり、常に正確で簡潔で解釈可能なクラス記述を生成する。
論文 参考訳（メタデータ） (2023-12-07T14:09:18Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳（メタデータ） (2023-07-24T17:03:28Z) - Learning efficient backprojections across cortical hierarchies in real
time [1.6474865533365743]
階層型大脳皮質階層における効率的なフィードバック重み付けを学習するための生物工学的手法を提案する。
すべての重みは、常にオンの可塑性と同時に学習され、シナプスにローカルに利用可能な情報のみを使用する。
提案手法は幅広いモデルに適用可能であり, 既知の生物学的に妥当な信用代入方法を改善する。
論文 参考訳（メタデータ） (2022-12-20T13:54:04Z) - Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
自律運転システムには2つの主要なアルゴリズムアプローチがある。
ディープラーニングだけでは、多くの分野で最先端の結果が得られています。
しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
論文 参考訳（メタデータ） (2022-03-28T20:29:50Z) - Towards Scaling Difference Target Propagation by Learning Backprop
Targets [64.90165892557776]
Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。
本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。
CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
論文 参考訳（メタデータ） (2022-01-31T18:20:43Z) - BioLeaF: A Bio-plausible Learning Framework for Training of Spiking
Neural Networks [4.698975219970009]
本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。
マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。
実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
論文 参考訳（メタデータ） (2021-11-14T10:32:22Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳（メタデータ） (2021-03-08T11:52:51Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z) - Biologically-Motivated Deep Learning Method using Hierarchical
Competitive Learning [0.0]
本稿では,CNNの事前学習方法として,前方伝播信号のみを必要とする教師なしの競争学習を導入することを提案する。
提案手法は,例えば時系列や医療データなど,ラベルの粗末なデータに対して有用である。
論文 参考訳（メタデータ） (2020-01-04T20:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。