論文の概要: Dual Precision Quantization for Efficient and Accurate Deep Neural Networks Inference

• arxiv url: http://arxiv.org/abs/2505.14638v1
• Date: Tue, 20 May 2025 17:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.645231
• Title: Dual Precision Quantization for Efficient and Accurate Deep Neural Networks Inference
• Title（参考訳）: 高速かつ高精度な深部ニューラルネットワーク推論のための2値精度量子化
• Authors: Tomer Gafni, Asaf Karnieli, Yair Hanani,
• Abstract要約: 本稿では,ハードウェアの利点を最小限の精度で生かした,ハードウェア効率の量子化と推論手法を提案する。 本研究では,新たな推定オーバーヘッドを伴わずに,新たな量子化アルゴリズムであるDual Precision Quantization (DPQ) を開発した。
• 参考スコア（独自算出の注目度）: 3.7687375904925484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have achieved state-of-the-art results in a wide range of applications, from natural language processing and computer vision to speech recognition. However, as tasks become increasingly complex, model sizes continue to grow, posing challenges in latency and memory efficiency. To meet these constraints, post-training quantization has emerged as a promising solution. In this paper, we propose a novel hardware-efficient quantization and inference scheme that exploits hardware advantages with minimal accuracy degradation. Specifically, we introduce a W4A8 scheme, where weights are quantized and stored using 4-bit integer precision, and inference computations are performed using 8-bit floating-point arithmetic, demonstrating significant speedups and improved memory utilization compared to 16-bit operations, applicable on various modern accelerators. To mitigate accuracy loss, we develop a novel quantization algorithm, dubbed Dual Precision Quantization (DPQ), that leverages the unique structure of our scheme without introducing additional inference overhead. Experimental results demonstrate improved performance (i.e., increased throughput) while maintaining tolerable accuracy degradation relative to the full-precision model.
• Abstract（参考訳）: ディープニューラルネットワークは、自然言語処理やコンピュータビジョンから音声認識まで、幅広い応用において最先端の結果を達成した。 しかし、タスクが複雑化するにつれて、モデルのサイズが拡大し続け、レイテンシとメモリ効率の課題が浮かび上がっている。 これらの制約を満たすために、トレーニング後の量子化が有望な解決策として浮上した。 本稿では,ハードウェアの利点を最小限の精度で生かした,ハードウェア効率の高い量子化と推論手法を提案する。 具体的には、ウェイトを4ビット整数精度で量子化し、記憶するW4A8スキームを導入し、8ビット浮動小数点演算を用いて推論計算を行い、16ビット演算よりも大幅に高速化され、メモリ利用が向上した。 精度損失を軽減するために,新たな量子化アルゴリズムDual Precision Quantization (DPQ) を開発した。 実験により,完全精度モデルに対して許容精度の劣化を維持しつつ,性能の向上(スループットの向上)を実証した。

関連論文リスト

• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [65.37942405146232]
  超低精度量子化により達成された,超軽量な状態要素を持つ新しいタイプのオーバーロードを提案する。 提案したSOLOは,精度の低下を最小限に抑え,メモリの大幅な節約(7Bモデルのトレーニング時に約45GB)を実現する。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
  ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。 この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。 そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:07:02Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
  本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。 これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
  論文  参考訳（メタデータ） (2022-07-15T14:34:22Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。