論文の概要: On the Benefits of Biophysical Synapses

• arxiv url: http://arxiv.org/abs/2303.04944v1
• Date: Wed, 8 Mar 2023 23:39:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 16:39:39.239493
• Title: On the Benefits of Biophysical Synapses
• Title（参考訳）: 生物物理シナプスの利点について
• Authors: Julian Lemmel, Radu Grosu
• Abstract要約: 生物物理学的なシナプスの使用は, LTCで見られるように, 2つの大きな利点があることが示されている。 まず、与えられたニューロンとシナプスのパラメータを増やすことができる。 第二に、状態依存係数を持つ線形系として非線形ネットワーク変換を定式化することができる。
• 参考スコア（独自算出の注目度）: 10.518340300810504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The approximation capability of ANNs and their RNN instantiations, is strongly correlated with the number of parameters packed into these networks. However, the complexity barrier for human understanding, is arguably related to the number of neurons and synapses in the networks, and to the associated nonlinear transformations. In this paper we show that the use of biophysical synapses, as found in LTCs, have two main benefits. First, they allow to pack more parameters for a given number of neurons and synapses. Second, they allow to formulate the nonlinear-network transformation, as a linear system with state-dependent coefficients. Both increase interpretability, as for a given task, they allow to learn a system linear in its input features, that is smaller in size compared to the state of the art. We substantiate the above claims on various time-series prediction tasks, but we believe that our results are applicable to any feedforward or recurrent ANN.
• Abstract（参考訳）: ANNの近似能力とそのRNNインスタンス化は、これらのネットワークに詰め込まれたパラメータの数と強く相関している。 しかしながら、人間の理解の複雑さの障壁は、ネットワーク内のニューロンとシナプスの数、および関連する非線形変換に間違いなく関係している。 本稿では, LTCにおける生物物理シナプスの利用には2つの利点があることを示す。 まず、特定の数のニューロンやシナプスにより多くのパラメータを詰め込むことができる。 第二に、状態依存係数を持つ線形系として非線形ネットワーク変換を定式化することができる。 どちらも解釈可能性を高め、与えられたタスクに対して、入力特徴において線形なシステムを学ぶことができる。 我々は、様々な時系列予測タスクで上記の主張を裏付けるが、結果は任意のフィードフォワードまたはリカレント ann に適用できると信じている。

関連論文リスト

• Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
  事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。 アンとBNNはヒト脳、特にBNNと大きな類似点を共有している アンは微調整によって新しい知識を得ることができる。
  論文  参考訳（メタデータ） (2024-08-24T03:27:29Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Exploring the Complexity of Deep Neural Networks through Functional Equivalence [1.3597551064547502]
  本稿では,ニューラルネットワークの複雑性を低減できることを示す,ディープニューラルネットワークの被覆数に縛られた新しい手法を提案する。 ネットワーク幅の増大により有効パラメータ空間の容量が減少するので、パラメータ化ネットワーク上でのトレーニングが容易になる傾向があるため、関数同値の利点が最適化されることを実証する。
  論文  参考訳（メタデータ） (2023-05-19T04:01:27Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Stability Analysis of Fractional Order Memristor Synapse-coupled Hopfield Neural Network with Ring Structure [0.0]
  まず,2つのニューロンに2次メムリスタ共役ホップフィールドニューラルネットワークを提案する。 我々は、n個のサブネットワークニューロンからなるリング構造を持つニューラルネットワークにモデルを拡張し、ネットワーク内の同期を増大させる。 n-ニューロンの場合、安定性はサブネットワークの構造と数に依存することが明らかになった。
  論文  参考訳（メタデータ） (2021-09-29T12:33:23Z)
• Metric Entropy Limits on Recurrent Neural Network Learning of Linear Dynamical Systems [0.0]
  RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。 差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
  論文  参考訳（メタデータ） (2021-05-06T10:12:30Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。