論文の概要: Using noise to probe recurrent neural network structure and prune
synapses
- arxiv url: http://arxiv.org/abs/2011.07334v2
- Date: Fri, 16 Jul 2021 18:07:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 13:27:11.179812
- Title: Using noise to probe recurrent neural network structure and prune
synapses
- Title（参考訳）: ノイズを用いたリカレントニューラルネットワーク構造とpruneシナプスの探索
- Authors: Eli Moore and Rishidev Chaudhuri
- Abstract要約: 脳内の多くのネットワークは疎結合であり、脳は発達と学習の間にシナプスを除去する。
ノイズは神経系においてユビキタスであり、しばしば克服される刺激物質であると考えられている。
ここでは、ノイズがシナプス切断において機能的な役割を担い、脳がネットワーク構造を探索し、どのシナプスが冗長であるかを決定することができることを示唆する。
- 参考スコア（独自算出の注目度）: 8.37609145576126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many networks in the brain are sparsely connected, and the brain eliminates
synapses during development and learning. How could the brain decide which
synapses to prune? In a recurrent network, determining the importance of a
synapse between two neurons is a difficult computational problem, depending on
the role that both neurons play and on all possible pathways of information
flow between them. Noise is ubiquitous in neural systems, and often considered
an irritant to be overcome. Here we suggest that noise could play a functional
role in synaptic pruning, allowing the brain to probe network structure and
determine which synapses are redundant. We construct a simple, local,
unsupervised plasticity rule that either strengthens or prunes synapses using
only synaptic weight and the noise-driven covariance of the neighboring
neurons. For a subset of linear and rectified-linear networks, we prove that
this rule preserves the spectrum of the original matrix and hence preserves
network dynamics even when the fraction of pruned synapses asymptotically
approaches 1. The plasticity rule is biologically-plausible and may suggest a
new role for noise in neural computation.
- Abstract（参考訳）: 脳内の多くのネットワークは疎結合であり、脳は発達と学習の間にシナプスを取り除く。
脳はどのようにして、どのシナプスをプルーンにするかを決定できるのか?
リカレントネットワークでは、2つのニューロン間のシナプスの重要性を決定することは、両方のニューロンが機能する役割と、それらの間の情報の流れの全ての経路に依存する、難しい計算問題である。
ノイズは神経系においてユビキタスであり、しばしば克服される刺激性とみなされる。
ここでは,脳がネットワーク構造を調べ,どのシナプスが冗長かを決定することで,ノイズがシナプスプラニングにおいて機能的役割を果たすことを示唆する。
我々は,シナプス重みと隣接ニューロンのノイズ駆動共分散のみを用いて,単純で局所的で教師なしの可塑性規則を構築する。
線形および正則線形ネットワークのサブセットについて、この規則は元の行列のスペクトルを保ち、プルーンドシナプスの分画が漸近的に1に近づいたとしてもネットワークのダイナミクスを保っていることを証明している。
可塑性則は生物学的に評価可能であり、神経計算におけるノイズの新しい役割を示唆するかもしれない。
関連論文リスト
- Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Learning with Chemical versus Electrical Synapses -- Does it Make a
Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。
我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文 参考訳（メタデータ） (2023-11-21T13:07:20Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Deep neural networks as nested dynamical systems [0.0]
ディープニューラルネットワークと実際の脳の間では、しばしばアナロジーが作られ、命名法自体によって示唆される。
本項では、類推が違うことを主張する。
ディープニューラルネットワークの「ニューロン」は変化の重みを管理しているため、脳のシナプスに類似している。
論文 参考訳（メタデータ） (2021-11-01T23:37:54Z) - Rich dynamics caused by known biological brain network features
resulting in stateful networks [0.0]
ニューロン/ネットワークの内部状態は、情報がどのようにネットワーク内で表現されるかを定義する要素となる。
本研究では,ネットワーク状態のダイナミクスを豊かにするニューロンの固有の内在的パラメータが与える影響について検討した。
このような効果は密結合ネットワークよりも疎結合ネットワークにおいて深いことが判明した。
論文 参考訳（メタデータ） (2021-06-03T08:32:43Z) - Condition Integration Memory Network: An Interpretation of the Meaning
of the Neuronal Design [10.421465303670638]
本論文では,プリミティブニューラルネットワークの機能的性質に関する仮説的枠組みを紹介する。
ニューロンとシナプスの活動が、世界の動的変化を象徴的に再現できるという考えを分析します。
アルゴリズム構造に参加せずにこれを実現する。
論文 参考訳（メタデータ） (2021-05-21T05:59:27Z) - Understanding and mitigating noise in trained deep neural networks [0.0]
学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。
ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。
我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
論文 参考訳（メタデータ） (2021-03-12T17:16:26Z) - Continual Learning with Deep Artificial Neurons [0.0]
本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。
ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。
適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
論文 参考訳（メタデータ） (2020-11-13T17:50:10Z) - The distribution of inhibitory neurons in the C. elegans connectome
facilitates self-optimization of coordinated neural activity [78.15296214629433]
線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。
一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。
我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
論文 参考訳（メタデータ） (2020-10-28T23:11:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。