論文の概要: Negative Feedback Training: A Novel Concept to Improve Robustness of NVCIM DNN Accelerators
- arxiv url: http://arxiv.org/abs/2305.14561v4
- Date: Fri, 12 Apr 2024 21:56:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 00:17:02.255201
- Title: Negative Feedback Training: A Novel Concept to Improve Robustness of NVCIM DNN Accelerators
- Title（参考訳）: 負のフィードバックトレーニング:NVCIM DNN加速器のロバスト性向上のための新しい概念
- Authors: Yifan Qin, Zheyu Yan, Wujie Wen, Xiaobo Sharon Hu, Yiyu Shi,
- Abstract要約: 非揮発性メモリ(NVM)デバイスは、Deep Neural Network(DNN)推論の実行時のエネルギー効率とレイテンシが優れている。
ネットワークから取得したマルチスケールノイズ情報を活用した負フィードバックトレーニング(NFT)を提案する。
提案手法は,既存の最先端手法よりも46.71%の精度向上を実現している。
- 参考スコア（独自算出の注目度）: 11.832487701641723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compute-in-memory (CIM) accelerators built upon non-volatile memory (NVM) devices excel in energy efficiency and latency when performing Deep Neural Network (DNN) inference, thanks to their in-situ data processing capability. However, the stochastic nature and intrinsic variations of NVM devices often result in performance degradation in DNN inference. Introducing these non-ideal device behaviors during DNN training enhances robustness, but drawbacks include limited accuracy improvement, reduced prediction confidence, and convergence issues. This arises from a mismatch between the deterministic training and non-deterministic device variations, as such training, though considering variations, relies solely on the model's final output. In this work, we draw inspiration from the control theory and propose a novel training concept: Negative Feedback Training (NFT) leveraging the multi-scale noisy information captured from network. We develop two specific NFT instances, Oriented Variational Forward (OVF) and Intermediate Representation Snapshot (IRS). Extensive experiments show that our methods outperform existing state-of-the-art methods with up to a 46.71% improvement in inference accuracy while reducing epistemic uncertainty, boosting output confidence, and improving convergence probability. Their effectiveness highlights the generality and practicality of our NFT concept in enhancing DNN robustness against device variations.
- Abstract（参考訳）: 非揮発性メモリ(NVM)デバイス上に構築されたCIM(Compute-in-Memory)アクセラレータは、そのデータ処理能力のおかげで、Deep Neural Network(DNN)推論の実行時のエネルギー効率とレイテンシが優れている。
しかしながら、NVMデバイスの確率的性質と固有のバリエーションは、しばしばDNN推論の性能低下をもたらす。
DNNトレーニング中のこれらの非理想的デバイス動作の導入は、堅牢性を高めるが、欠点には、精度の向上の制限、予測信頼性の低減、収束問題が含まれる。
これは、決定論的トレーニングと非決定論的デバイスバリエーションのミスマッチから生じる。
本研究では,制御理論からインスピレーションを得て,ネットワークから取得したマルチスケールノイズ情報を活用した負フィードバックトレーニング(NFT)を提案する。
我々は、OVF(Oriented Variational Forward)とIRS(Intermediate Representation Snapshot)の2つの特定NFTインスタンスを開発する。
以上の結果から,提案手法は既存の最先端手法よりも46.71%の推論精度の向上を達成し,また,疫学的な不確実性を低減し,出力信頼度を高め,収束確率を向上させることが示唆された。
彼らの効果は、デバイス変動に対するDNNロバスト性を高めるために、我々のNFT概念の一般化と実用性を強調している。
関連論文リスト
- TSB: Tiny Shared Block for Efficient DNN Deployment on NVCIM Accelerators [11.496631244103773]
Tiny Shared Block (TSB)"は、小さな共有1x1畳み込みブロックをDeep Neural Networkアーキテクチャに統合する。
TSBは、20倍以上の推論精度ギャップの改善、5倍以上のトレーニングスピードアップ、デバイス間マッピングコストの削減を実現している。
論文 参考訳（メタデータ） (2024-05-08T20:53:38Z) - Enhancing Reliability of Neural Networks at the Edge: Inverted
Normalization with Stochastic Affine Transformations [0.22499166814992438]
インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。
実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
論文 参考訳（メタデータ） (2024-01-23T00:27:31Z) - Compute-in-Memory based Neural Network Accelerators for Safety-Critical
Systems: Worst-Case Scenarios and Protections [8.813981342105151]
本稿では,CiM加速器の最悪の性能をデバイス変動の影響で特定する問題について検討する。
本稿では,対向訓練とノイズ注入訓練を効果的に組み合わせた,A-TRICEという新たな最悪の事例認識訓練手法を提案する。
実験の結果,A-TRICEは機器の変量下での最悪のケース精度を最大33%向上することがわかった。
論文 参考訳（メタデータ） (2023-12-11T05:56:00Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳（メタデータ） (2022-05-28T13:09:30Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - FitAct: Error Resilient Deep Neural Networks via Fine-Grained
Post-Trainable Activation Functions [0.05249805590164901]
ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。
本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
論文 参考訳（メタデータ） (2021-12-27T07:07:50Z) - Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。
DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。
凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文 参考訳（メタデータ） (2020-11-17T10:23:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。