論文の概要: A Gradient Estimator for Time-Varying Electrical Networks with Non-Linear Dissipation

• arxiv url: http://arxiv.org/abs/2103.05636v1
• Date: Tue, 9 Mar 2021 02:07:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 22:10:12.923560
• Title: A Gradient Estimator for Time-Varying Electrical Networks with Non-Linear Dissipation
• Title（参考訳）: 非線形散逸を伴う時変電気ネットワークの勾配推定器
• Authors: Jack Kendall
• Abstract要約: 電気回路理論を用いて、深層指向ニューラルネットワークを記述できるラグランジアンを構築する。 シナプスコンダクタンスなどのネットワークの物理パラメータの勾配を推定するための推定器を導出する。 結論として,これらの結果を生物学的に妥当なニューロンのネットワークに拡張する方法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a method for extending the technique of equilibrium propagation for estimating gradients in fixed-point neural networks to the more general setting of directed, time-varying neural networks by modeling them as electrical circuits. We use electrical circuit theory to construct a Lagrangian capable of describing deep, directed neural networks modeled using nonlinear capacitors and inductors, linear resistors and sources, and a special class of nonlinear dissipative elements called fractional memristors. We then derive an estimator for the gradient of the physical parameters of the network, such as synapse conductances, with respect to an arbitrary loss function. This estimator is entirely local, in that it only depends on information locally available to each synapse. We conclude by suggesting methods for extending these results to networks of biologically plausible neurons, e.g. Hodgkin-Huxley neurons.
• Abstract（参考訳）: 定点ニューラルネットワークにおける勾配推定のための平衡伝搬の手法を,電気回路としてモデル化することにより,有向時間変動ニューラルネットワークのより一般的な設定に拡張する方法を提案する。 非線形キャパシタとインダクタ、線形抵抗器とソースをモデルとした深い指向型ニューラルネットワークと、分数型メmristorと呼ばれる特殊な非線形散逸要素を記述できるラグランジアンを電気回路理論を用いて構築する。 次に、任意の損失関数に関して、シナプス伝導率などのネットワークの物理パラメータの勾配の推定子を導出する。 この推定器は完全に局所的であり、各シナプスにローカルに利用可能な情報にのみ依存する。 我々は、これらの結果を生物学的に可塑性なニューロンのネットワークに拡張する方法を提案する。 Hodgkin-Huxleyニューロン。

関連論文リスト

• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Learning fixed points of recurrent neural networks by reparameterizing the network model [0.0]
  計算神経科学において、リカレントニューラルネットワークの固定点は、静的またはゆっくりと変化する刺激に対する神経反応をモデル化するために一般的に用いられる。 自然なアプローチは、シナプス重みのユークリッド空間上の勾配勾配を利用することである。 この手法は, 損失面に生じる特異点により, 学習性能が低下する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-07-13T13:09:11Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Infinite-width limit of deep linear neural networks [0.0]
  本研究では,ランダムパラメータを持つディープ線形ニューラルネットワークの無限幅限界について検討する。 線形予測器は最小の$ell$-norm最小限のリスクに指数的に収束することを示す。
  論文  参考訳（メタデータ） (2022-11-29T18:37:14Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Neural Network Solutions to Differential Equations in Non-Convex Domains: Solving the Electric Field in the Slit-Well Microfluidic Device [1.7188280334580193]
  スリットウェルマイクロ流体装置における電位と対応する電場を近似するためにニューラルネットワーク法を用いる。 ディープ・ニューラル・ネットワークは 浅いニューラル・ネットワークをはるかに上回っています
  論文  参考訳（メタデータ） (2020-04-25T21:20:03Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。