論文の概要: Optimal Learning with Excitatory and Inhibitory synapses
- arxiv url: http://arxiv.org/abs/2005.12330v1
- Date: Mon, 25 May 2020 18:25:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 06:04:30.601823
- Title: Optimal Learning with Excitatory and Inhibitory synapses
- Title（参考訳）: 興奮・抑制シナプスを用いた最適学習
- Authors: Alessandro Ingrosso
- Abstract要約: 相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。
ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
- 参考スコア（独自算出の注目度）: 91.3755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Characterizing the relation between weight structure and input/output
statistics is fundamental for understanding the computational capabilities of
neural circuits. In this work, I study the problem of storing associations
between analog signals in the presence of correlations, using methods from
statistical mechanics. I characterize the typical learning performance in terms
of the power spectrum of random input and output processes. I show that optimal
synaptic weight configurations reach a capacity of 0.5 for any fraction of
excitatory to inhibitory weights and have a peculiar synaptic distribution with
a finite fraction of silent synapses. I further provide a link between typical
learning performance and principal components analysis in single cases. These
results may shed light on the synaptic profile of brain circuits, such as
cerebellar structures, that are thought to engage in processing time-dependent
signals and performing on-line prediction.
- Abstract（参考訳）: 重み構造と入出力統計の関係を特徴付けることは、神経回路の計算能力を理解する上で基本である。
本研究では,統計力学の手法を用いて,相関の存在下でアナログ信号間の相関を記憶する問題を考察する。
ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
最適なシナプス重み構成は, 刺激量から抑制重量への比例して0.5の容量に到達し, サイレントシナプスを有限に有する特異なシナプス分布を有することを示す。
さらに,典型的な学習性能と主成分分析とのリンクについても述べる。
これらの結果は、時間依存的な信号を処理し、オンライン予測を行うと考えられている小脳構造などの脳回路のシナプスプロファイルに光を当てる可能性がある。
関連論文リスト
- Heterogeneous quantization regularizes spiking neural network activity [0.0]
本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。
我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
論文 参考訳（メタデータ） (2024-09-27T02:25:44Z) - Emulating Complex Synapses Using Interlinked Proton Conductors [17.304569471460013]
我々はベンナ・フジ人工複合シナプスを実験的に実現した。
結合ストレージコンポーネントからのメモリ集積は数値シミュレーションと実験観測の両方によって明らかにされる。
複雑なシナプスの実験的実現は、記憶能力を高め、継続的な学習を可能にするための有望なアプローチを示唆している。
論文 参考訳（メタデータ） (2024-01-26T18:16:06Z) - Machine learning at the mesoscale: a computation-dissipation bottleneck [77.34726150561087]
入力出力デバイスとして使用されるメソスコピックシステムにおける計算散逸ボトルネックについて検討する。
我々のフレームワークは、情報圧縮、入出力計算、非相互相互作用によって引き起こされる動的不可逆性の間の決定的な妥協に光を当てている。
論文 参考訳（メタデータ） (2023-07-05T15:46:07Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Neuronal architecture extracts statistical temporal patterns [1.9662978733004601]
情報表現や処理に高次時間的(コ-)ゆらぎをいかに利用できるかを示す。
単純な生物学的にインスパイアされたフィードフォワードニューロンモデルでは、時系列分類を行うために3階までの累積から情報を抽出することができる。
論文 参考訳（メタデータ） (2023-01-24T18:21:33Z) - The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳（メタデータ） (2023-01-04T05:34:48Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Spatiotemporal Spike-Pattern Selectivity in Single Mixed-Signal Neurons
with Balanced Synapses [0.27998963147546135]
混合信号ニューロモルフィックプロセッサは推論と学習に使用できる。
ネットワーク層の実装に不均一なシナプス回路をいかに利用できるかを示す。
論文 参考訳（メタデータ） (2021-06-10T12:04:03Z) - Weakly-correlated synapses promote dimension reduction in deep neural
networks [1.7532045941271799]
シナプス相関が神経相関にどのように影響し、絡み合った隠された表現を生み出すかは、いまだ解明されていない。
本稿では,シナプス間の相互相関を考慮した次元縮小モデルを提案する。
我々の理論は、数学的自己整合性のみを必要とするシナプス相関スケーリング形式を決定する。
論文 参考訳（メタデータ） (2020-06-20T13:11:37Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。