論文の概要: Selective Quantization Tuning for ONNX Models

• arxiv url: http://arxiv.org/abs/2507.12196v1
• Date: Wed, 16 Jul 2025 12:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.390081
• Title: Selective Quantization Tuning for ONNX Models
• Title（参考訳）: ONNXモデルのための選択的量子化チューニング
• Authors: Nikolaos Louloudakis, Ajitha Rajan,
• Abstract要約: 我々は,ONNXモデルの選択的量子化,展開,実行を可能にするスイートであるTuneQnを提案する。 TuneQnは選択的に量子化されたONNXモデルを生成し、異なるハードウェアにデプロイし、精度やサイズなどのメトリクスのパフォーマンスを測定する。 我々は、TuneQnが選択的量子化とチューニングを効果的に行い、最大54.14$%の精度損失でONNXモデル候補を選択することを示した。
• 参考スコア（独自算出の注目度）: 2.6754376830313817
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Quantization is a process that reduces the precision of deep neural network models to lower model size and computational demands, often at the cost of accuracy. However, fully quantized models may exhibit sub-optimal performance below acceptable levels and face deployment challenges on low-end hardware accelerators due to practical constraints. To address these issues, quantization can be selectively applied to only a subset of layers, but selecting which layers to exclude is non-trivial. To this direction, we propose TuneQn, a suite enabling selective quantization, deployment and execution of ONNX models across various CPU and GPU devices, combined with profiling and multi-objective optimization. TuneQn generates selectively quantized ONNX models, deploys them on different hardware, measures performance on metrics like accuracy and size, performs Pareto Front minimization to identify the best model candidate and visualizes the results. To demonstrate the effectiveness of TuneQn, we evaluated TuneQn on four ONNX models with two quantization settings across CPU and GPU devices. As a result, we demonstrated that our utility effectively performs selective quantization and tuning, selecting ONNX model candidates with up to a $54.14$% reduction in accuracy loss compared to the fully quantized model, and up to a $72.9$% model size reduction compared to the original model.
• Abstract（参考訳）: 量子化(quantization)とは、ディープニューラルネットワークモデルの精度を下げて、モデルのサイズと計算要求を小さくするプロセスである。 しかし、完全量子化モデルでは、許容レベル以下で準最適性能を示し、実用上の制約によりローエンドハードウェアアクセラレーターに展開する課題に直面している可能性がある。 これらの問題に対処するために、量子化は一部の層だけに選択的に適用できるが、どの層を除外するかを選択することは簡単ではない。 そこで本研究では,プロファイリングと多目的最適化を組み合わせた,様々なCPUおよびGPUデバイスを対象としたONNXモデルの選択的量子化,デプロイ,実行を可能にするスイートであるTuneQnを提案する。 TuneQnは選択的に量子化されたONNXモデルを生成し、異なるハードウェアにデプロイし、精度やサイズなどのメトリクスのパフォーマンスを測定し、Pareto Frontの最小化を実行して、最適なモデル候補を特定し、結果を視覚化する。 TuneQnの有効性を実証するために、CPUとGPUデバイス間で2つの量子化設定を持つ4つのNNXモデル上でTuneQnを評価した。 その結果,提案手法は選択的量子化とチューニングを効果的に行い,ONNXモデル候補を完全量子化モデルと比較して最大54.14ドル%の精度損失と,原モデルと比較して最大72.9ドル%のモデルサイズ縮小を選択できることを示した。

関連論文リスト

• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search [50.07268323597872]
  本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。 整数モデルでは、ImageNet上のResNet-18の精度を1.31%、ResNet-50の精度を0.90%向上させる。 従来のFP8モデルと比較して,新しい混合精度浮動小数点探索を探索し,最大0.98%改善した。
  論文  参考訳（メタデータ） (2023-08-07T04:17:19Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision Post-Training Quantization [7.392278887917975]
  本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。 実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
  論文  参考訳（メタデータ） (2023-06-08T02:18:58Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• AMED: Automatic Mixed-Precision Quantization for Edge Devices [3.5223695602582614]
  量子ニューラルネットワークは、レイテンシ、消費電力、モデルサイズをパフォーマンスに大きな影響を与えずに減少させることでよく知られている。 混合精度量子化は、異なるビット幅での算術演算をサポートするカスタマイズされたハードウェアのより良い利用を提供する。
  論文  参考訳（メタデータ） (2022-05-30T21:23:22Z)
• One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment [36.75157407486302]
  多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。 重みの多様性を高めるためにウェーブレット分解と再構成を用いる。 同じ精度で訓練された専用モデルに匹敵する精度が得られる。
  論文  参考訳（メタデータ） (2021-05-04T08:10:50Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• VecQ: Minimal Loss DNN Model Compression With Vectorized Weight Quantization [19.66522714831141]
  我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。 また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
  論文  参考訳（メタデータ） (2020-05-18T07:38:44Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• SQWA: Stochastic Quantized Weight Averaging for Improving the Generalization Capability of Low-Precision Deep Neural Networks [29.187848543158992]
  我々は、新しい量子化ニューラルネットワーク最適化手法、量子化ウェイト平均化(SQWA)を提案する。 提案手法には、浮動小数点モデルのトレーニング、重みの直接量子化、複数の低精度モデルのキャプチャ、キャプチャーモデルの平均化、低学習率の微調整が含まれる。 SQWAトレーニングにより、CIFAR-100およびImageNetデータセット上の2ビットQDNNの最先端結果を得た。
  論文  参考訳（メタデータ） (2020-02-02T07:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。