論文の概要: StatQAT: Statistical Quantizer Optimization for Deep Networks

• arxiv url: http://arxiv.org/abs/2605.17745v1
• Date: Mon, 18 May 2026 01:56:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.511324
• Title: StatQAT: Statistical Quantizer Optimization for Deep Networks
• Title（参考訳）: StatQAT: ディープネットワークのための統計的量子化器最適化
• Authors: Mehmet Aktukmak, Daniel Huang, Ke Ding,
• Abstract要約: 本研究では,一様および浮動小数点量子化のための新しい統計誤差解析フレームワークを提案する。 任意のデータ分布用に設計された反復量化器とガウス的な重み分布に適した分析量化器を提案する。 実験により、精度と安定性が向上し、低精度ニューラルネットワークをトレーニングするためのアプローチの有効性が強調された。
• 参考スコア（独自算出の注目度）: 8.942263704249003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization is essential for reducing the computational cost and memory usage of deep neural networks, enabling efficient inference on low-precision hardware. Despite the growing adoption of uniform and floating-point quantization schemes, selecting optimal quantization parameters remains a key challenge, particularly for diverse data distributions encountered during training and inference. This work presents a novel statistical error analysis framework for uniform and floating-point quantization, providing theoretical insight into error behavior across quantization configurations. Building on this analysis, we propose iterative quantizers designed for arbitrary data distributions and analytic quantizers tailored for Gaussian-like weight distributions. These methods enable efficient, low-error quantization suitable for both activations and weights. We incorporate our quantizers into quantization-aware training and evaluate them across integer and floating-point formats. Experiments demonstrate improved accuracy and stability, highlighting the effectiveness of our approach for training low-precision neural networks.
• Abstract（参考訳）: 量子化はディープニューラルネットワークの計算コストとメモリ使用量の削減に不可欠であり、低精度ハードウェアでの効率的な推論を可能にする。 均一点量子化スキームや浮動小数点量子化スキームの普及にもかかわらず、最適な量子化パラメータの選択は重要な課題であり、特にトレーニングや推論中に発生する多様なデータ分布に対してである。 本研究は,一様および浮動小数点量子化のための新しい統計誤差解析フレームワークを提案する。 この分析に基づいて、任意のデータ分布用に設計された反復量子化器と、ガウス的な重み分布に適した分析量子化器を提案する。 これらの方法は、活性化と重みの両方に適した効率的で低エラーの量子化を可能にする。 我々は量子化学習に量子化器を組み込み、整数や浮動小数点の形式で評価する。 実験により、精度と安定性が向上し、低精度ニューラルネットワークをトレーニングするためのアプローチの有効性が強調された。

関連論文リスト

• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Ternary Quantization: A Survey [12.90416661059601]
  深層ニューラルネットワークモデルのデプロイには、推論時間、モデルサイズ、精度が不可欠である。 3次量子化の進化を概観し、既存の3次量子化法との関係について検討する。
  論文  参考訳（メタデータ） (2023-03-02T03:38:51Z)
• Symmetry Regularization and Saturating Nonlinearity for Robust Quantization [5.1779694507922835]
  量子化に対するネットワークの強固化に関する3つの知見を提示する。 対称性正則化(SymReg)と飽和非線形性(SatNL)という2つの新しい手法を提案する。 トレーニング中に提案した手法を適用することで、量子化に対する任意のニューラルネットワークの堅牢性を高めることができる。
  論文  参考訳（メタデータ） (2022-07-31T02:12:28Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Recurrence of Optimum for Training Weight and Activation Quantized Networks [4.103701929881022]
  低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。 ネットワーク量子化の性質を克服する方法を紹介します。 また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
  論文  参考訳（メタデータ） (2020-12-10T09:14:43Z)
• Optimal Quantization for Batch Normalization in Neural Network Deployments and Beyond [18.14282813812512]
  バッチ正規化(BN)が量子ニューラルネットワーク(QNN)に挑戦 本稿では、2つの浮動小数点のアフィン変換を共有量子化スケールで固定点演算に変換することによりBNを定量化する新しい方法を提案する。 提案手法は,CIFARおよびImageNetデータセット上の層レベルでの実験により検証される。
  論文  参考訳（メタデータ） (2020-08-30T09:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。