論文の概要: A Differentiable Point Process with Its Application to Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2106.00901v2
• Date: Thu, 3 Jun 2021 07:15:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-05 08:12:44.537485
• Title: A Differentiable Point Process with Its Application to Spiking Neural Networks
• Title（参考訳）: 微分可能な点過程とそのスパイクニューラルネットワークへの応用
• Authors: Hiroshi Kajino
• Abstract要約: Jimenez Rezende & Gerstner (2014) は、隠れたニューロンでSNNを訓練するための変分推論アルゴリズムを提案した。 本稿では,経路ワイド勾配推定器に基づくSNNの代替勾配推定器を提案する。
• 参考スコア（独自算出の注目度）: 13.160616423673373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper is concerned about a learning algorithm for a probabilistic model of spiking neural networks (SNNs). Jimenez Rezende & Gerstner (2014) proposed a stochastic variational inference algorithm to train SNNs with hidden neurons. The algorithm updates the variational distribution using the score function gradient estimator, whose high variance often impedes the whole learning algorithm. This paper presents an alternative gradient estimator for SNNs based on the path-wise gradient estimator. The main technical difficulty is a lack of a general method to differentiate a realization of an arbitrary point process, which is necessary to derive the path-wise gradient estimator. We develop a differentiable point process, which is the technical highlight of this paper, and apply it to derive the path-wise gradient estimator for SNNs. We investigate the effectiveness of our gradient estimator through numerical simulation.
• Abstract（参考訳）: 本稿では,スパイクニューラルネットワーク(SNN)の確率論的モデルに対する学習アルゴリズムについて述べる。 Jimenez Rezende & Gerstner (2014) は隠れたニューロンでSNNを訓練するための確率的変分推論アルゴリズムを提案した。 このアルゴリズムはスコア関数勾配推定器を用いて変動分布を更新する。 本稿では,経路方向勾配推定器に基づくSNNの代替勾配推定器を提案する。 主な技術的困難は、任意の点過程の実現を区別するための一般的な方法の欠如である。 本稿では,本論文の技術的ハイライトである微分可能な点過程を開発し,snsのパスワイズ勾配推定器の導出に適用する。 勾配推定器の有効性を数値シミュレーションにより検証する。

関連論文リスト

• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Gradient-enhanced deep neural network approximations [1.9721888064019697]
  関数近似と不確実性定量化のための勾配強化ディープニューラルネットワーク(DNN)アプローチ。 そこで本研究では,提案手法が従来のDNN手法よりも有益であることを示す数値実験を行った。
  論文  参考訳（メタデータ） (2022-11-08T13:16:02Z)
• Exact Gradient Computation for Spiking Neural Networks Through Forward Propagation [39.33537954568678]
  従来のニューラルネットワークに代わるものとして、スパイキングニューラルネットワーク(SNN)が登場している。 本稿では,SNNの正確な勾配を計算できるEmphforward propagation (FP)と呼ばれる新しいトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-18T20:28:21Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• q-RBFNN:A Quantum Calculus-based RBF Neural Network [31.14412266444568]
  放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。 提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。 提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
  論文  参考訳（メタデータ） (2021-06-02T08:27:12Z)
• A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
  勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。 その結果,提案手法は勾配法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-06T11:12:23Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。