論文の概要: Training End-to-End Analog Neural Networks with Equilibrium Propagation

• arxiv url: http://arxiv.org/abs/2006.01981v2
• Date: Tue, 9 Jun 2020 22:26:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 23:18:01.176464
• Title: Training End-to-End Analog Neural Networks with Equilibrium Propagation
• Title（参考訳）: 平衡伝播を用いた終端アナログニューラルネットワークの訓練
• Authors: Jack Kendall, Ross Pantone, Kalpana Manickavasagam, Yoshua Bengio, Benjamin Scellier
• Abstract要約: 本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
• 参考スコア（独自算出の注目度）: 64.0476282000118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a principled method to train end-to-end analog neural networks by stochastic gradient descent. In these analog neural networks, the weights to be adjusted are implemented by the conductances of programmable resistive devices such as memristors [Chua, 1971], and the nonlinear transfer functions (or `activation functions') are implemented by nonlinear components such as diodes. We show mathematically that a class of analog neural networks (called nonlinear resistive networks) are energy-based models: they possess an energy function as a consequence of Kirchhoff's laws governing electrical circuits. This property enables us to train them using the Equilibrium Propagation framework [Scellier and Bengio, 2017]. Our update rule for each conductance, which is local and relies solely on the voltage drop across the corresponding resistor, is shown to compute the gradient of the loss function. Our numerical simulations, which use the SPICE-based Spectre simulation framework to simulate the dynamics of electrical circuits, demonstrate training on the MNIST classification task, performing comparably or better than equivalent-size software-based neural networks. Our work can guide the development of a new generation of ultra-fast, compact and low-power neural networks supporting on-chip learning.
• Abstract（参考訳）: 本稿では,確率勾配勾配によるエンドツーエンドアナログニューラルネットワークの学習法を提案する。 これらのアナログニューラルネットワークでは、調整すべき重みはmemristor[chua, 1971]などのプログラマブル抵抗素子のコンダクタンスによって実装され、非線形伝達関数(または「活性化関数」)はダイオードなどの非線形成分によって実装される。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗ネットワークと呼ばれる)がエネルギーベースモデルであることを示し、キルヒホフの電気回路の法則の結果としてエネルギー関数を持つ。 この特性により、Equilibrium Propagationフレームワーク[Scellier and Bengio, 2017]を使って、それらをトレーニングすることができます。 各コンダクタンスに対する更新ルールは局所的であり、対応する抵抗間の電圧降下のみに依存するので、損失関数の勾配を計算することができる。 SPICEベースのSpectreシミュレーションフレームワークを用いて電気回路のダイナミクスをシミュレートした数値シミュレーションを行い、MNIST分類タスクのトレーニングを行い、等価サイズのソフトウェアベースニューラルネットワークよりも多種多種多種多様な性能を示す。 我々の研究は、オンチップ学習をサポートする超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays [3.5969667977870796]
  我々は,完全分裂型スパイクニューラルネットワーク(MSNN)を学習するための勾配学習(MEMprop)を提案する。 本手法では, 自然に発生する電圧スパイクを発生させるために, 固有デバイスダイナミクスを利用する。 いくつかのベンチマークにおいて、以前報告した軽量高密度完全MSNN間の高い競争精度を得る。
  論文  参考訳（メタデータ） (2022-06-26T23:13:34Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Neural net modeling of equilibria in NSTX-U [0.0]
  我々は平衡モデルと形状制御モデルに関連する2つのニューラルネットワークを開発する。 ネットワークにはEFIT01再構成アルゴリズムでトレーニングされた自由境界均衡解法であるEqnetと、Gspert符号でトレーニングされたPertnetが含まれる。 本報告では,これらのモデルが閉ループシミュレーションで確実に使用できることを示す。
  論文  参考訳（メタデータ） (2022-02-28T16:09:58Z)
• Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
  実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。 ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。 我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:41:36Z)
• A Gradient Estimator for Time-Varying Electrical Networks with Non-Linear Dissipation [0.0]
  電気回路理論を用いて、深層指向ニューラルネットワークを記述できるラグランジアンを構築する。 シナプスコンダクタンスなどのネットワークの物理パラメータの勾配を推定するための推定器を導出する。 結論として,これらの結果を生物学的に妥当なニューロンのネットワークに拡張する方法を提案する。
  論文  参考訳（メタデータ） (2021-03-09T02:07:39Z)
• Implementing efficient balanced networks with mixed-signal spike-based learning circuits [2.1640200483378953]
  効率的な平衡ネットワーク(Efficient Balanced Networks、EBN)は、興奮性および抑制性シナプス電流が短時間の時間スケールで平衡しているスパイキングニューロンのネットワークである。 我々は、スパイキングニューロンのランダムな接続ネットワークを緊密にバランスの取れた状態に駆動するオンチップ実装に適した、新しい局所学習ルールを開発する。 それらの符号化特性とスパース活性により、ニューロモルフィック電子EBNは極端エッジコンピューティング用途に理想的に適合する。
  論文  参考訳（メタデータ） (2020-10-27T15:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。