論文の概要: On the Benefits of Biophysical Synapses
- arxiv url: http://arxiv.org/abs/2303.04944v1
- Date: Wed, 8 Mar 2023 23:39:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 16:39:39.239493
- Title: On the Benefits of Biophysical Synapses
- Title(参考訳): 生物物理シナプスの利点について
- Authors: Julian Lemmel, Radu Grosu
- Abstract要約: 生物物理学的なシナプスの使用は, LTCで見られるように, 2つの大きな利点があることが示されている。
まず、与えられたニューロンとシナプスのパラメータを増やすことができる。
第二に、状態依存係数を持つ線形系として非線形ネットワーク変換を定式化することができる。
- 参考スコア(独自算出の注目度): 10.518340300810504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The approximation capability of ANNs and their RNN instantiations, is
strongly correlated with the number of parameters packed into these networks.
However, the complexity barrier for human understanding, is arguably related to
the number of neurons and synapses in the networks, and to the associated
nonlinear transformations. In this paper we show that the use of biophysical
synapses, as found in LTCs, have two main benefits. First, they allow to pack
more parameters for a given number of neurons and synapses. Second, they allow
to formulate the nonlinear-network transformation, as a linear system with
state-dependent coefficients. Both increase interpretability, as for a given
task, they allow to learn a system linear in its input features, that is
smaller in size compared to the state of the art. We substantiate the above
claims on various time-series prediction tasks, but we believe that our results
are applicable to any feedforward or recurrent ANN.
- Abstract(参考訳): ANNの近似能力とそのRNNインスタンス化は、これらのネットワークに詰め込まれたパラメータの数と強く相関している。
しかしながら、人間の理解の複雑さの障壁は、ネットワーク内のニューロンとシナプスの数、および関連する非線形変換に間違いなく関係している。
本稿では, LTCにおける生物物理シナプスの利用には2つの利点があることを示す。
まず、特定の数のニューロンやシナプスにより多くのパラメータを詰め込むことができる。
第二に、状態依存係数を持つ線形系として非線形ネットワーク変換を定式化することができる。
どちらも解釈可能性を高め、与えられたタスクに対して、入力特徴において線形なシステムを学ぶことができる。
我々は、様々な時系列予測タスクで上記の主張を裏付けるが、結果は任意のフィードフォワードまたはリカレント ann に適用できると信じている。
関連論文リスト
- Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - Interrelation of equivariant Gaussian processes and convolutional neural
networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。
本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文 参考訳(メタデータ) (2022-09-17T17:02:35Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Random Graph-Based Neuromorphic Learning with a Layer-Weaken Structure [4.477401614534202]
我々は,ランダムグラフ理論を実践的な意味でNNモデルに変換し,各ニューロンの入出力関係を明らかにする。
この低演算コストアプローチでは、ニューロンはいくつかのグループに割り当てられ、接続関係はそれらに属するランダムグラフの一様表現とみなすことができる。
本稿では,複数のRGNN間の情報インタラクションを含む共同分類機構を開発し,教師付き学習における3つのベンチマークタスクの大幅な性能向上を実現する。
論文 参考訳(メタデータ) (2021-11-17T03:37:06Z) - Stability Analysis of Fractional Order Memristor Synapse-coupled
Hopfield Neural Network with Ring Structure [0.0]
まず,2つのニューロンに2次メムリスタ共役ホップフィールドニューラルネットワークを提案する。
我々は、n個のサブネットワークニューロンからなるリング構造を持つニューラルネットワークにモデルを拡張し、ネットワーク内の同期を増大させる。
n-ニューロンの場合、安定性はサブネットワークの構造と数に依存することが明らかになった。
論文 参考訳(メタデータ) (2021-09-29T12:33:23Z) - Metric Entropy Limits on Recurrent Neural Network Learning of Linear
Dynamical Systems [0.0]
RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。
差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
論文 参考訳(メタデータ) (2021-05-06T10:12:30Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳(メタデータ) (2020-04-29T01:28:32Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳(メタデータ) (2020-04-08T06:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。