論文の概要: Examining and Mitigating the Impact of Crossbar Non-idealities for Accurate Implementation of Sparse Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2201.05229v1
• Date: Thu, 13 Jan 2022 21:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-17 15:34:30.601594
• Title: Examining and Mitigating the Impact of Crossbar Non-idealities for Accurate Implementation of Sparse Deep Neural Networks
• Title（参考訳）: スパースディープニューラルネットワークの正確な実装のためのクロスバー非理想の影響の検証と緩和
• Authors: Abhiroop Bhattacharjee, Lakshya Bhatnagar and Priyadarshini Panda
• Abstract要約: 非理想のクロスバーにマッピングされた未処理のDNNと比較して、スパースディープニューラルネットワーク(DNN)が深刻な精度の損失をもたらすことを示す。 我々は,クロスバー列再構成とWCT (Weight-Constrained-Training) の2つの緩和手法を提案する。 これらは、クロスバー上の低コンダクタンスシナプスの割合を増大させ、計算精度を向上させることで、非イデアルを緩和するのに役立つ。
• 参考スコア（独自算出の注目度）: 2.4283778735260686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently several structured pruning techniques have been introduced for energy-efficient implementation of Deep Neural Networks (DNNs) with lesser number of crossbars. Although, these techniques have claimed to preserve the accuracy of the sparse DNNs on crossbars, none have studied the impact of the inexorable crossbar non-idealities on the actual performance of the pruned networks. To this end, we perform a comprehensive study to show how highly sparse DNNs, that result in significant crossbar-compression-rate, can lead to severe accuracy losses compared to unpruned DNNs mapped onto non-ideal crossbars. We perform experiments with multiple structured-pruning approaches (such as, C/F pruning, XCS and XRS) on VGG11 and VGG16 DNNs with benchmark datasets (CIFAR10 and CIFAR100). We propose two mitigation approaches - Crossbar column rearrangement and Weight-Constrained-Training (WCT) - that can be integrated with the crossbar-mapping of the sparse DNNs to minimize accuracy losses incurred by the pruned models. These help in mitigating non-idealities by increasing the proportion of low conductance synapses on crossbars, thereby improving their computational accuracies.
• Abstract（参考訳）: 近年, クロスバー数が少ないディープニューラルネットワーク(DNN)のエネルギー効率向上のための構造化プルーニング技術がいくつか導入されている。 これらの手法は, クロスバー上でのスパースDNNの精度を保っていると主張しているが, 未使用のクロスバー非イデオロギーが実際のネットワークの性能に与える影響は研究されていない。 そこで本研究では,非イデアルクロスバーにマッピングされた未切断のDNNと比較して,高いシャープなDNNが,高いクロスバー圧縮率をもたらす可能性を示す総合的研究を行った。 我々は,ベンチマークデータセット(CIFAR10,CIFAR100)を用いたVGG11,VGG16 DNN上で,複数の構造化プルーニング手法(C/Fプルーニング,XCS,XRS)を用いて実験を行った。 そこで我々は,2つの緩和手法であるクロスバルカラム再構成と重量拘束訓練(WCT)を提案し,これをスパースDNNのクロスバーマッピングと組み合わせることで,刈り取ったモデルによる精度損失を最小限に抑える。 これらは、クロスバー上の低コンダクタンスシナプスの割合を増加させることで、非理想性の緩和に役立ち、計算能力を向上させる。

関連論文リスト

• Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing [3.9488615467284225]
  アナログクロスバーのようなインメモリコンピューティング(IMC)プラットフォームは、低精度のディープニューラルネットワーク(DNN)を高い面積と計算効率で加速する上で、注目されている。 クロスバーの固有の非イデオロギーは、しばしば非決定的で非線形であり、デプロイされたDNNの性能を低下させる。 本研究は, アナログクロスバーのドット積操作における非イデアル性に起因する歪みについて検討することを目的とする。
  論文  参考訳（メタデータ） (2023-05-28T19:07:25Z)
• Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars [4.184276171116354]
  ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。 本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
  論文  参考訳（メタデータ） (2022-06-20T07:07:41Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Rethinking Non-idealities in Memristive Crossbars for Adversarial Robustness in Neural Networks [2.729253370269413]
  ディープニューラルネットワーク(DNN)は、敵の攻撃に弱いことが示されている。 クロスバーな非イデアルは、MVMの実行時にエラーが発生するため、常に非評価されている。 そこで本研究では,本発明のハードウェア非理想性により,追加の最適化を伴わずに,マップ化されたDNNに対して対角的ロバスト性が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-25T22:45:34Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)
• TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems [3.1887081453726136]
  クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
  論文  参考訳（メタデータ） (2020-02-25T19:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。