論文の概要: Overcoming the Weight Transport Problem via Spike-Timing-Dependent Weight Inference

• arxiv url: http://arxiv.org/abs/2003.03988v4
• Date: Wed, 11 Aug 2021 13:25:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 09:27:55.790891
• Title: Overcoming the Weight Transport Problem via Spike-Timing-Dependent Weight Inference
• Title（参考訳）: スパイクタイミング依存重み推論による重量輸送問題の克服
• Authors: Nasir Ahmad, Luca Ambrogioni, Marcel A. J. van Gerven
• Abstract要約: スパイクタイミングのみを用いることは、スパイクニューラルネットワークモデルにおけるシナプス重み推定において、既存の生物学的に妥当な手法よりも優れていることを示す。 提案手法はより柔軟で、スパイクニューロンモデルに適用可能であり、実装に必要なパラメータの数に保守的であり、最小限の計算オーバーヘッドでオンラインファッションに展開できる。
• 参考スコア（独自算出の注目度）: 9.948484577581796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a solution to the weight transport problem, which questions the biological plausibility of the backpropagation algorithm. We derive our method based upon a theoretical analysis of the (approximate) dynamics of leaky integrate-and-fire neurons. We show that the use of spike timing alone outcompetes existing biologically plausible methods for synaptic weight inference in spiking neural network models. Furthermore, our proposed method is more flexible, being applicable to any spiking neuron model, is conservative in how many parameters are required for implementation and can be deployed in an online-fashion with minimal computational overhead. These features, together with its biological plausibility, make it an attractive mechanism underlying weight inference at single synapses.
• Abstract（参考訳）: 本稿では, バックプロパゲーションアルゴリズムの生物学的妥当性を問う, 重量輸送問題の解法を提案する。 本手法は、漏れた集積・発火ニューロンの(近似)ダイナミクスの理論解析に基づいて導出する。 スパイクタイミングのみの使用は、スパイクニューラルネットワークモデルにおける相乗的重み推定の既存の生物学的に妥当な方法よりも優れていることを示す。 さらに,提案手法はより柔軟で,任意のスパイクニューロンモデルに適用可能であり,実装に必要なパラメータの数には保守的であり,計算オーバーヘッドを最小限に抑えたオンラインファッションに展開可能である。 これらの特徴は生物学的な妥当性とともに、単一のシナプスにおける重量推定の基礎となる魅力的なメカニズムとなっている。

関連論文リスト

• Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
  本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。 このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。 提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
  論文  参考訳（メタデータ） (2023-06-07T22:14:33Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Generalization of generative model for neuronal ensemble inference method [0.0]
  本研究では,ニューロンの状態を表す変数の範囲を拡大し,拡張変数に対するモデルの可能性を一般化する。 この2値入力の制限のない一般化により,ソフトクラスタリングが可能となり,非定常神経活動データに適用できる。
  論文  参考訳（メタデータ） (2022-11-07T07:58:29Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• EqSpike: Spike-driven Equilibrium Propagation for Neuromorphic Implementations [9.952561670370804]
  我々は、ニューロモルフィックシステムと互換性のあるEqSpikeと呼ばれるスパイクニューラルネットワークアルゴリズムを開発した。 シリコンニューロモルフィック技術に実装されたEqSpikeは,それぞれ推論とトレーニングのエネルギー消費を削減できることを示した。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• Online neural connectivity estimation with ensemble stimulation [5.156484100374058]
  スパースネットワークにおけるこのプロセスの効率を大幅に向上させる,ノイズの多いグループテストに基づく手法を提案する。 人口規模に比例して対数的にしか成長しない多数のテストにより、二項化ネットワーク接続を回復可能であることを示す。 また、ネット上の数万のニューロンのネットワークに対して、接続性を推測する可能性も示しています。
  論文  参考訳（メタデータ） (2020-07-27T23:47:03Z)
• Latent Network Structure Learning from High Dimensional Multivariate Point Processes [5.079425170410857]
  本研究では,観測データの基盤となる複雑な過程を特徴付けるために,非定常ホークスプロセスの新たなクラスを提案する。 効率のよい最小二乗推定手法を用いて潜在ネットワーク構造を推定する。 シミュレーション研究を通じて提案手法の有効性を実証し, ニューロンスパイクトレインデータセットへの適用について述べる。
  論文  参考訳（メタデータ） (2020-04-07T17:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。