論文の概要: Tightening the Biological Constraints on Gradient-Based Predictive
Coding
- arxiv url: http://arxiv.org/abs/2104.15137v2
- Date: Wed, 8 Dec 2021 17:28:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-01 23:43:23.376044
- Title: Tightening the Biological Constraints on Gradient-Based Predictive
Coding
- Title(参考訳): 勾配に基づく予測符号化における生物学的制約の強化
- Authors: Nick Alonso and Emre Neftci
- Abstract要約: 予測符号化(英: Predictive coding、PC)は、皮質機能の理論である。
本稿では,生物学的制約に適合する勾配型PCモデルを改良する。
修正PCネットワークは、修正されていないPCモデルやバックプロパゲーションで訓練されたネットワークと同様に、MNISTデータでも、あるいはほぼ同様に動作することを示す。
- 参考スコア(独自算出の注目度): 1.90365714903665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive coding (PC) is a general theory of cortical function. The local,
gradient-based learning rules found in one kind of PC model have recently been
shown to closely approximate backpropagation. This finding suggests that this
gradient-based PC model may be useful for understanding how the brain solves
the credit assignment problem. The model may also be useful for developing
local learning algorithms that are compatible with neuromorphic hardware. In
this paper, we modify this PC model so that it better fits biological
constraints, including the constraints that neurons can only have positive
firing rates and the constraint that synapses only flow in one direction. We
also compute the gradient-based weight and activity updates given the modified
activity values. We show that, under certain conditions, these modified PC
networks perform as well or nearly as well on MNIST data as the unmodified PC
model and networks trained with backpropagation.
- Abstract(参考訳): 予測符号化(PC)は皮質機能の一般的な理論である。
あるpcモデルで見られる局所的な勾配に基づく学習規則は、近ごろ、近似的なバックプロパゲーションが示されている。
この結果は、この勾配に基づくPCモデルが、脳がどのように信用代入問題を解くかを理解するのに役立つことを示唆している。
このモデルは、ニューロモルフィックハードウェアと互換性のある局所学習アルゴリズムの開発にも有用である。
本稿では, ニューロンが正の発射速度しか持たないという制約や, シナプスが一方向だけ流れるという制約など, 生物学的制約に適合するように, このPCモデルを改良する。
また,修正されたアクティビティ値に応じて,勾配に基づくウェイトとアクティビティの更新も計算する。
特定の条件下では、これらの修正PCネットワークは、修正されていないPCモデルやバックプロパゲーションで訓練されたネットワークと同様に、MNISTデータでも、あるいはほぼ同様に動作することを示す。
関連論文リスト
- Predictive Coding as a Neuromorphic Alternative to Backpropagation: A
Critical Evaluation [1.2891210250935146]
バックプロパゲーションは、現代のディープラーニング手法のワークホースクレジット代入アルゴリズムとして急速に普及している。
修正型予測符号化(PC)は、バックプロパゲーションの下のものとほぼ等しいパラメータの更新をもたらすことが示されている。
我々は,PCが神経形系における実装を促進する,望ましい特性を持つバックプロパゲーションの代替として機能することを示す。
論文 参考訳(メタデータ) (2023-04-05T11:48:47Z) - Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。
最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。
我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
論文 参考訳(メタデータ) (2022-11-24T19:09:44Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2022-11-16T00:11:04Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Mapping and Validating a Point Neuron Model on Intel's Neuromorphic
Hardware Loihi [77.34726150561087]
インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。
Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。
Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
論文 参考訳(メタデータ) (2021-09-22T16:52:51Z) - A simple normative network approximates local non-Hebbian learning in
the cortex [12.940770779756482]
神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。
ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。
オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
論文 参考訳(メタデータ) (2020-10-23T20:49:44Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳(メタデータ) (2020-10-02T15:21:37Z) - Uncovering the Underlying Physics of Degrading System Behavior Through a
Deep Neural Network Framework: The Case of Remaining Useful Life Prognosis [0.0]
本稿では、ディープニューラルネットワークフレームワークを用いて、劣化の物理を探索するオープンボックスアプローチを提案する。
フレームワークには3つのステージがあり、システムの状態を表す潜伏変数と対応するPDEを見つけることを目的としている。
論文 参考訳(メタデータ) (2020-06-10T21:05:59Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳(メタデータ) (2020-06-07T15:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。