論文の概要: Neural Network Training with Asymmetric Crosspoint Elements

• arxiv url: http://arxiv.org/abs/2201.13377v1
• Date: Mon, 31 Jan 2022 17:41:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 20:47:35.069851
• Title: Neural Network Training with Asymmetric Crosspoint Elements
• Title（参考訳）: 非対称クロスポイント要素を用いたニューラルネットワークトレーニング
• Authors: Murat Onen, Tayfun Gokmen, Teodor K. Todorov, Tomasz Nowicki, Jesus A. del Alamo, John Rozen, Wilfried Haensch, Seyoung Kim
• Abstract要約: 実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。 ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。 我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
• 参考スコア（独自算出の注目度）: 1.0773924713784704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analog crossbar arrays comprising programmable nonvolatile resistors are under intense investigation for acceleration of deep neural network training. However, the ubiquitous asymmetric conductance modulation of practical resistive devices critically degrades the classification performance of networks trained with conventional algorithms. Here, we describe and experimentally demonstrate an alternative fully-parallel training algorithm: Stochastic Hamiltonian Descent. Instead of conventionally tuning weights in the direction of the error function gradient, this method programs the network parameters to successfully minimize the total energy (Hamiltonian) of the system that incorporates the effects of device asymmetry. We provide critical intuition on why device asymmetry is fundamentally incompatible with conventional training algorithms and how the new approach exploits it as a useful feature instead. Our technique enables immediate realization of analog deep learning accelerators based on readily available device technologies.
• Abstract（参考訳）: プログラム可能な非揮発性抵抗体からなるアナログクロスバーアレイは、ディープニューラルネットワークトレーニングの加速について激しい調査が行われている。 しかし, 実用的抵抗器のユビキタスな非対称コンダクタンス変調は, 従来のアルゴリズムで訓練されたネットワークの分類性能を著しく低下させる。 ここでは、Stochastic Hamiltonian Descentという代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。 従来、誤差関数勾配の方向に重みをチューニングするのではなく、ネットワークパラメータをプログラムし、デバイス非対称性の効果を組み込んだシステムの総エネルギー(ハミルトニアン)を効果的に最小化する。 我々は、デバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れない理由と、新しいアプローチがそれを有用な機能として利用する方法について、批判的な直観を与える。 本技術により,アナログ深層学習アクセラレータの即時実現が可能となった。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Enriched Physics-informed Neural Networks for Dynamic Poisson-Nernst-Planck Systems [0.8192907805418583]
  本稿では、動的Poisson-Nernst-Planck(PNP)方程式を解くために、メッシュレス深層学習アルゴリズム、EPINN(enriched Physics-informed Neural Network)を提案する。 EPINNは、従来の物理インフォームドニューラルネットワークを基盤フレームワークとして、損失関数のバランスをとるために適応的な損失重みを追加する。 数値計算の結果, 結合された非線形系の解法において, 従来の数値法よりも適用性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-02-01T02:57:07Z)
• Gradient-descent hardware-aware training and deployment for mixed-signal Neuromorphic processors [2.812395851874055]
  混合信号ニューロモルフィックプロセッサはエッジ推論ワークロードに対して極めて低消費電力な演算を提供する。 我々は、混合信号型ニューロモルフィックプロセッサDYNAP-SE2へのスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T08:56:54Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• An error-propagation spiking neural network compatible with neuromorphic processors [2.432141667343098]
  本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。 本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。 この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
  論文  参考訳（メタデータ） (2021-04-12T07:21:08Z)
• Supervised training of spiking neural networks for robust deployment on mixed-signal neuromorphic processors [2.6949002029513167]
  混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。 ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。 ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-12T09:20:49Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。