Fugu-MT 論文翻訳(概要): NANQ: Noise-Floor-Aware Mixed-Precision Non-Uniform Quantization for Analog Compute-in-Memory

論文の概要: NANQ: Noise-Floor-Aware Mixed-Precision Non-Uniform Quantization for Analog Compute-in-Memory

arxiv url: http://arxiv.org/abs/2608.02700v1
Date: Mon, 03 Aug 2026 14:21:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:22.903213
Title: NANQ: Noise-Floor-Aware Mixed-Precision Non-Uniform Quantization for Analog Compute-in-Memory
Title（参考訳）: NANQ:アナログ・コンピュート・イン・メモリのためのノイズ・フロア・アウェア混合精度不均一量子化
Abstract要約: アナログCIMのためのノイズ対応混合精度非一様量子化フレームワークであるNANQを提案する。 2ビットのウェイトマグニチュード量子化の下では、NANQは視覚モデルの精度を8.05ポイント改善し、言語モデルのPPLを平均54.7%削減する。混合精度NANQは、3.2-3.8の等価ビットしか持たない追加の量子化資源から得られるゲインの大部分をキャプチャする。
参考スコア（独自算出の注目度）: 13.398991073628382
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Analog compute-in-memory (CIM) enables energy-efficient neural network inference, but device variation and read noise can severely degrade low-bit quantized models. Existing CIM-oriented quantization methods mainly minimize ideal quantization error, ignoring the hardware noise floor and thus causing inefficient precision allocation. We propose NANQ, a noise-aware mixed-precision non-uniform quantization framework for analog CIM. NANQ models magnitude-dependent weight noise from measured responses of an eFlash CIM array and converts the noise profile into an adaptive quantization density, assigning finer resolution to low-noise regions while avoiding ineffective precision in noise-dominated regions. It further assigns layer-wise bit-widths by identifying each layer's precision saturation point under hardware noise using a unified threshold. On-chip experiments on an eFlash CIM SoC show that, under 2-bit weight-magnitude quantization, NANQ improves vision-model accuracy by 8.05 percentage points and reduces language-model PPL by 54.7% on average over PowerQuant. Mixed-precision NANQ captures most of the gains obtainable from additional quantization resources with only 3.2-3.8 equivalent bits.
Abstract（参考訳）: アナログ・コンピュート・イン・メモリ(CIM)はエネルギー効率のよいニューラルネットワークの推論を可能にするが、デバイスの変化と読み取りノイズは低ビット量子化モデルを大幅に劣化させる可能性がある。既存のCIM指向量子化法は主に理想的な量子化誤差を最小限に抑え、ハードウェアノイズフロアを無視し、非効率な精度割り当てを引き起こす。アナログCIMのためのノイズ対応混合精度非一様量子化フレームワークであるNANQを提案する。 NANQは、eFlash CIMアレイの測定応答から大きさ依存の重みノイズをモデル化し、ノイズプロファイルを適応量子化密度に変換し、ノイズ支配領域の非効率な精度を回避しつつ、低雑音領域に分解能を割り当てる。さらに、各層の精度飽和点を統一しきい値を用いてハードウェアノイズ下で同定することで、レイヤワイズビット幅を割り当てる。 eFlash CIM SoCのオンチップ実験では、2ビットの重み付け量子化の下で、NANQはビジョンモデルの精度を8.05ポイント改善し、言語モデルPPLを平均54.7%削減した。混合精度NANQは、3.2-3.8の等価ビットしか持たない追加の量子化資源から得られるゲインの大部分をキャプチャする。

関連論文リスト

SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-23T16:21:48Z)
QNCD: Quantization Noise Correction for Diffusion Models [15.189069680672239]
拡散モデルは画像合成に革命をもたらし、品質と創造性の新しいベンチマークを設定した。トレーニング後の量子化は、サンプルの品質を犠牲にしてサンプリングを加速するソリューションを提供する。サンプリング過程を通して量子化ノイズを最小化することを目的とした量子化ノイズ補正方式(QNCD)を導入する。
論文参考訳（メタデータ） (2024-03-28T04:24:56Z)
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search [7.564770908909927]
量子化は、効率的なディープニューラルネットワーク(DNN)を作成する技術であるラウンドオフ誤差に基づいて各層重みに対する最適な量子化ビット幅を求める検索アルゴリズムであるMixQuantを提案する。我々は、MixQuantと最先端の量子化手法BRECQを組み合わせることで、BRECQ単独よりも優れた量子化モデル精度が得られることを示す。
論文参考訳（メタデータ） (2023-09-29T15:49:54Z)
On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文参考訳（メタデータ） (2023-09-05T04:39:34Z)
PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
論文参考訳（メタデータ） (2023-05-18T02:28:42Z)
CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification [51.81850995661478]
混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されているトレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
論文参考訳（メタデータ） (2022-12-06T05:44:21Z)
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文参考訳（メタデータ） (2021-11-29T12:24:02Z)
Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
論文参考訳（メタデータ） (2021-11-29T09:57:00Z)
QuantumNAT: Quantum Noise-Aware Training with Noise Injection, Quantization and Normalization [19.822514659801616]
量子回路(PQC)は、短期量子ハードウェアにおける量子優位性を約束している。しかし、大きな量子ノイズ(エラー)のため、PQCモデルの性能は実際の量子デバイスで著しく低下する。本稿では,PQC固有のフレームワークであるQuantumNATを提案する。
論文参考訳（メタデータ） (2021-10-21T17:59:19Z)
Learnable Companding Quantization for Accurate Low-bit Neural Networks [3.655021726150368]
ディープニューラルネットワークの量子化は、メモリ消費の削減と推論速度の向上に有効な方法である。非常に低ビットモデルがフル精度モデルに匹敵する精度を達成することは、まだ困難です。 2,3,4ビットモデルのための新しい非一様量子化手法として学習可能なコンパイル量子化(LCQ)を提案する。
論文参考訳（メタデータ） (2021-03-12T09:06:52Z)
DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文参考訳（メタデータ） (2020-12-21T10:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。