論文の概要: Regularization-based Framework for Quantization-, Fault- and Variability-Aware Training

• arxiv url: http://arxiv.org/abs/2503.01297v1
• Date: Mon, 03 Mar 2025 08:33:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:40.940717
• Title: Regularization-based Framework for Quantization-, Fault- and Variability-Aware Training
• Title（参考訳）: 正規化に基づく量子化・フォールト・可変性学習フレームワーク
• Authors: Anmol Biswas, Raghav Singhal, Sivakumar Elangovan, Shreyas Sabnis, Udayan Ganguly,
• Abstract要約: 正規化に基づく量子化対応トレーニングフレームワークは、CIFAR-10とImageNet上での競合結果を達成する。 当社のフレームワークは,フォールトおよび可変性を考慮した微調整,固定重み付きフォールト(固定重み付きビット)の緩和,デバイス抵抗のばらつきを可能にする。 本研究は,低消費電力非理想ハードウェアにおいて,量子化とロバスト性を考慮したトレーニングを行うための一般化可能なフレームワークを構築した。
• 参考スコア（独自算出の注目度）: 2.0971479389679337
• License:
• Abstract: Efficient inference is critical for deploying deep learning models on edge AI devices. Low-bit quantization (e.g., 3- and 4-bit) with fixed-point arithmetic improves efficiency, while low-power memory technologies like analog nonvolatile memory enable further gains. However, these methods introduce non-ideal hardware behavior, including bit faults and device-to-device variability. We propose a regularization-based quantization-aware training (QAT) framework that supports fixed, learnable step-size, and learnable non-uniform quantization, achieving competitive results on CIFAR-10 and ImageNet. Our method also extends to Spiking Neural Networks (SNNs), demonstrating strong performance on 4-bit networks on CIFAR10-DVS and N-Caltech 101. Beyond quantization, our framework enables fault and variability-aware fine-tuning, mitigating stuck-at faults (fixed weight bits) and device resistance variability. Compared to prior fault-aware training, our approach significantly improves performance recovery under upto 20% bit-fault rate and 40% device-to-device variability. Our results establish a generalizable framework for quantization and robustness-aware training, enhancing efficiency and reliability in low-power, non-ideal hardware.
• Abstract（参考訳）: エッジAIデバイスにディープラーニングモデルをデプロイするには、効率的な推論が不可欠だ。 固定点演算による低ビット量子化(例:3ビット、4ビット)は効率を向上し、アナログ不揮発性メモリのような低消費電力メモリ技術はさらなる向上を可能にする。 しかし,これらの手法は,ビット障害やデバイス間変動など,非理想的ハードウェア動作を導入している。 我々は,CIFAR-10 と ImageNet 上での競合的な結果を達成するために,定型的で学習可能なステップサイズ,学習可能な非一様量子化をサポートする正規化型量子化学習(QAT)フレームワークを提案する。 また,CIFAR10-DVSとN-Caltech 101上での4ビットネットワークの性能を示す。 量子化以外にも、当社のフレームワークは、フォールトと可変性を考慮した微調整、固定重み付きフォールト(固定重み付きビット)の緩和、デバイス抵抗のばらつきを可能にする。 従来のフォールト・アウェア・トレーニングと比較すると,最大20%のビット・フォールトレートと40%のデバイス・ツー・デバイス変動率で性能回復が著しく向上する。 本研究は,低消費電力非理想ハードウェアにおいて,量子化とロバスト性を考慮したトレーニングを行うための一般化可能なフレームワークを構築した。

関連論文リスト

• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Negative Feedback Training: A Novel Concept to Improve Robustness of NVCIM DNN Accelerators [11.832487701641723]
  非揮発性メモリ(NVM)デバイスは、Deep Neural Network(DNN)推論の実行時のエネルギー効率とレイテンシが優れている。 ネットワークから取得したマルチスケールノイズ情報を活用した負フィードバックトレーニング(NFT)を提案する。 提案手法は,既存の最先端手法よりも46.71%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-23T22:56:26Z)
• Bag of Tricks with Quantized Convolutional Neural Networks for image classification [9.240992450548132]
  深層ニューラルネットワークの学習後量子化のためのゴールドガイドラインを提案する。 提案手法の有効性を,ImageNetデータセット上でResNet50とMobileNetV2の2つの人気モデルを用いて評価した。 その結果,30%の空間幅を持つ量子化されたMobileNetV2が,等価な完全精度モデルの性能を実際に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-03-13T13:05:33Z)
• Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks [1.131071436917293]
  パラメータと演算をビット精度の低いものに量子化することで、ニューラルネットワークの推論にかなりのメモリとエネルギーを節約できる。 本稿では,エッジ計算を対象とする混合精度畳み込みニューラルネットワーク(CNN)の量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:11:37Z)
• Neural Network Quantization with AI Model Efficiency Toolkit (AIMET) [15.439669159557253]
  AIモデル効率ツールキット(AIMET)を用いたニューラルネットワーク量子化の概要について述べる。 AIMETは、モデル最適化に必要な作業を容易にするために設計された最先端の量子化および圧縮アルゴリズムのライブラリである。 我々は、PTQとQAT、コード例、実用的なヒントを網羅し、AIMETによる量子化の実践的なガイドを提供する。
  論文  参考訳（メタデータ） (2022-01-20T20:35:37Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• A Statistical Framework for Low-bitwidth Training of Deep Neural Networks [70.77754244060384]
  フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
  論文  参考訳（メタデータ） (2020-10-27T13:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。