Fugu-MT 論文翻訳(概要): Variability-Aware Training and Self-Tuning of Highly Quantized DNNs for Analog PIM

論文の概要: Variability-Aware Training and Self-Tuning of Highly Quantized DNNs for Analog PIM

arxiv url: http://arxiv.org/abs/2111.06457v1
Date: Thu, 11 Nov 2021 20:55:02 GMT
ステータス: 処理完了
システム内更新日: 2021-11-15 14:13:48.808570
Title: Variability-Aware Training and Self-Tuning of Highly Quantized DNNs for Analog PIM
Title（参考訳）: アナログPIMのための高量子化DNNの可変学習と自己調整
Authors: Zihao Deng and Michael Orshansky
Abstract要約: 我々は高量子化アナログPIMモデルのための新しい共同変数と量子化対応DNNトレーニングアルゴリズムを開発した。低ビット幅モデルと高変動モデルでは、ResNet-18の精度は35.7%まで向上する。
参考スコア（独自算出の注目度）: 0.15229257192293197
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: DNNs deployed on analog processing in memory (PIM) architectures are subject to fabrication-time variability. We developed a new joint variability- and quantization-aware DNN training algorithm for highly quantized analog PIM-based models that is significantly more effective than prior work. It outperforms variability-oblivious and post-training quantized models on multiple computer vision datasets/models. For low-bitwidth models and high variation, the gain in accuracy is up to 35.7% for ResNet-18 over the best alternative. We demonstrate that, under a realistic pattern of within- and between-chip components of variability, training alone is unable to prevent large DNN accuracy loss (of up to 54% on CIFAR-100/ResNet-18). We introduce a self-tuning DNN architecture that dynamically adjusts layer-wise activations during inference and is effective in reducing accuracy loss to below 10%.
Abstract（参考訳）: メモリ内のアナログ処理(PIM)アーキテクチャにデプロイされるDNNは、製造時間変動の影響を受ける。提案手法は,高量子化アナログpcmモデルに対して,従来よりも有意な有効性を持つdnn学習アルゴリズムを開発した。複数のコンピュータビジョンデータセット/モデル上で、可変性と学習後の量子化モデルよりも優れています。低ビット幅モデルと高変動モデルでは、ResNet-18の精度は35.7%まで向上する。可変性のチップ内コンポーネントとチップ間コンポーネントの現実的なパターンの下では、トレーニングだけでは大きなdnn精度の損失(cifar-100/resnet-18では最大54%)を防ぐことができないことを実証する。本稿では,推論中のレイヤワイズアクティベーションを動的に調整し,精度の低下を10%以下に抑える自己調整型DNNアーキテクチャを提案する。

関連論文リスト

Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文参考訳（メタデータ） (2024-10-08T14:27:28Z)
Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction [0.0]
ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。本稿では,DNNの学習効率を最適化する手法を提案する。
論文参考訳（メタデータ） (2023-10-17T03:11:30Z)
Negative Feedback Training: A Novel Concept to Improve Robustness of NVCIM DNN Accelerators [11.832487701641723]
非揮発性メモリ(NVM)デバイスは、Deep Neural Network(DNN)推論の実行時のエネルギー効率とレイテンシが優れている。ネットワークから取得したマルチスケールノイズ情報を活用した負フィードバックトレーニング(NFT)を提案する。提案手法は,既存の最先端手法よりも46.71%の精度向上を実現している。
論文参考訳（メタデータ） (2023-05-23T22:56:26Z)
Dual adaptive training of photonic neural networks [30.86507809437016]
フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
論文参考訳（メタデータ） (2022-12-09T05:03:45Z)
Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks [1.131071436917293]
パラメータと演算をビット精度の低いものに量子化することで、ニューラルネットワークの推論にかなりのメモリとエネルギーを節約できる。本稿では,エッジ計算を対象とする混合精度畳み込みニューラルネットワーク(CNN)の量子化手法を提案する。
論文参考訳（メタデータ） (2022-06-15T18:11:37Z)
Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文参考訳（メタデータ） (2022-05-28T13:09:30Z)
Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文参考訳（メタデータ） (2021-06-26T00:32:17Z)
ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文参考訳（メタデータ） (2021-05-07T11:39:05Z)
FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文参考訳（メタデータ） (2020-12-24T05:24:10Z)
EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks [18.241639570479563]
ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。 EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
論文参考訳（メタデータ） (2020-04-21T17:17:09Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。