論文の概要: Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing

• arxiv url: http://arxiv.org/abs/2305.18416v1
• Date: Sun, 28 May 2023 19:07:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 21:24:06.924592
• Title: Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing
• Title（参考訳）: インメモリコンピューティングにおける多様なハードウェアノイズを軽減するバッチノルム最適化の役割と限界の検討
• Authors: Abhiroop Bhattacharjee, Abhishek Moitra, Youngeun Kim, Yeshwanth Venkatesha, and Priyadarshini Panda
• Abstract要約: アナログクロスバーのようなインメモリコンピューティング(IMC)プラットフォームは、低精度のディープニューラルネットワーク(DNN)を高い面積と計算効率で加速する上で、注目されている。 クロスバーの固有の非イデオロギーは、しばしば非決定的で非線形であり、デプロイされたDNNの性能を低下させる。 本研究は, アナログクロスバーのドット積操作における非イデアル性に起因する歪みについて検討することを目的とする。
• 参考スコア（独自算出の注目度）: 3.9488615467284225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-Memory Computing (IMC) platforms such as analog crossbars are gaining focus as they facilitate the acceleration of low-precision Deep Neural Networks (DNNs) with high area- & compute-efficiencies. However, the intrinsic non-idealities in crossbars, which are often non-deterministic and non-linear, degrade the performance of the deployed DNNs. In addition to quantization errors, most frequently encountered non-idealities during inference include crossbar circuit-level parasitic resistances and device-level non-idealities such as stochastic read noise and temporal drift. In this work, our goal is to closely examine the distortions caused by these non-idealities on the dot-product operations in analog crossbars and explore the feasibility of a nearly training-less solution via crossbar-aware fine-tuning of batchnorm parameters in real-time to mitigate the impact of the non-idealities. This enables reduction in hardware costs in terms of memory and training energy for IMC noise-aware retraining of the DNN weights on crossbars.
• Abstract（参考訳）: アナログクロスバーなどのインメモリコンピューティング(imc)プラットフォームは、高面積および計算効率の低精度ディープニューラルネットワーク(dnn)の高速化を促進するため、注目されている。 しかし、しばしば非決定論的かつ非線形であるクロスバーの固有の非理想性は、デプロイされたdnnの性能を低下させる。 量子化誤差に加えて、推論中に最も頻繁に遭遇する非理想性には、クロスバー回路レベルの寄生抵抗や、確率的読み取りノイズや時間ドリフトのようなデバイスレベルの非理想性が含まれる。 本研究では,これら非理想性がアナログクロスバーのドット生成操作に与える影響を詳細に検討し,非理想性の影響を軽減するために,バッチノルムパラメータのクロスバーアウェア微調整により,ほぼトレーニングレスな解の実現可能性を検討することを目的とする。 これにより、メモリとトレーニングエネルギーの観点からハードウェアコストを削減し、クロスバー上のDNN重みの再トレーニングをIMCが認識する。

関連論文リスト

• TSB: Tiny Shared Block for Efficient DNN Deployment on NVCIM Accelerators [11.496631244103773]
  Tiny Shared Block (TSB)"は、小さな共有1x1畳み込みブロックをDeep Neural Networkアーキテクチャに統合する。 TSBは、20倍以上の推論精度ギャップの改善、5倍以上のトレーニングスピードアップ、デバイス間マッピングコストの削減を実現している。
  論文  参考訳（メタデータ） (2024-05-08T20:53:38Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness [11.249410336982258]
  エネルギー効率の高いディープニューラルネットワーク(DNN)アクセラレータは、推論時にパフォーマンスを低下させる非イデオロギーの傾向がある。 既存の手法では、トレーニング中にDNNの重み付けに摂動を加え、ノイズの多いハードウェアでの推論をシミュレートする。 本研究では,損失値と損失シャープネスの両方を最適化することにより,ノイズの多いハードウェアに対する推論時のロバスト性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2022-11-18T16:58:23Z)
• Examining and Mitigating the Impact of Crossbar Non-idealities for Accurate Implementation of Sparse Deep Neural Networks [2.4283778735260686]
  非理想のクロスバーにマッピングされた未処理のDNNと比較して、スパースディープニューラルネットワーク(DNN)が深刻な精度の損失をもたらすことを示す。 我々は,クロスバー列再構成とWCT (Weight-Constrained-Training) の2つの緩和手法を提案する。 これらは、クロスバー上の低コンダクタンスシナプスの割合を増大させ、計算精度を向上させることで、非イデアルを緩和するのに役立つ。
  論文  参考訳（メタデータ） (2022-01-13T21:56:48Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
  動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。 凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
  論文  参考訳（メタデータ） (2020-11-17T10:23:28Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems [3.1887081453726136]
  クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
  論文  参考訳（メタデータ） (2020-02-25T19:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。