論文の概要: Quantizing Whisper-small: How design choices affect ASR performance

• arxiv url: http://arxiv.org/abs/2511.08093v1
• Date: Wed, 12 Nov 2025 01:39:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.641085
• Title: Quantizing Whisper-small: How design choices affect ASR performance
• Title（参考訳）: Whisper-smallの量子化:設計選択がASRパフォーマンスに与える影響
• Authors: Arthur Söhler, Julian Irigoyen, Andreas Søeborg Kirkedal,
• Abstract要約: 本稿では,Whisper-Small上での学習後量子化の統一的,クロスライブラリな評価について述べる。 この結果から,PTQ法を慎重に選択することで,モデルのサイズや推論コストを大幅に削減できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large speech recognition models like Whisper-small achieve high accuracy but are difficult to deploy on edge devices due to their high computational demand. To this end, we present a unified, cross-library evaluation of post-training quantization (PTQ) on Whisper-small that disentangles the impact of quantization scheme, method, granularity, and bit-width. Our study is based on four libraries: PyTorch, Optimum-Quanto, HQQ, and bitsandbytes. Experiments on LibriSpeech test-clean and test-other show that dynamic int8 quantization with Quanto offers the best trade-off, reducing model size by 57% while improving on the baseline's word error rate. Static quantization performed worse, likely due to Whisper's Transformer architecture, while more aggressive formats (e.g., nf4, int3) achieved up to 71% compression at the cost of accuracy in noisy conditions. Overall, our results demonstrate that carefully chosen PTQ methods can substantially reduce model size and inference cost without retraining, enabling efficient deployment of Whisper-small on constrained hardware.
• Abstract（参考訳）: Whisper-smallのような大規模音声認識モデルは高い精度を実現するが、高い計算要求のためにエッジデバイスに展開することは困難である。 この目的のために、量子化スキーム、方法、粒度、ビット幅の影響を歪ませるWhisper-small上で、学習後量子化(PTQ)の統一的、相互ライブラリ評価を行う。 私たちの研究は、PyTorch、Optimum-Quanto、HQQ、bitsandbytesの4つのライブラリをベースにしています。 LibriSpeechテストクリーンおよび他のテストクリーンの実験では、Quantoによる動的int8量子化は最良のトレードオフを提供し、ベースラインのワードエラー率を改善しながらモデルサイズを57%削減している。 静的量子化は、おそらくWhisperのTransformerアーキテクチャにより、より攻撃的なフォーマット(例えば、nf4, int3)がノイズの多い条件下での精度で最大71%の圧縮を実現した。 以上の結果から,PTQ手法を慎重に選択することで,再トレーニングを伴わずにモデルサイズや推論コストを大幅に削減し,制約のあるハードウェア上でWhisper-smallを効率よく展開できることが示唆された。

関連論文リスト

• BAQ: Efficient Bit Allocation Quantization for Large Language Models [8.427223431012454]
  学習後モデルの量子化は、大規模言語モデルのメモリと計算コストを削減するために広く採用されている手法である。 既存の手法の多くは均一またはビット幅の割り当てに依存しており、量子化ノイズに対するウェイトの不均一な感度を考慮できない。 本稿では,Hessianプロキシから得られた感度指標に基づいて,量子化ビット幅を割り当てる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-06T01:27:01Z)
• Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
  低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。 デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。 われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
  論文  参考訳（メタデータ） (2025-05-16T12:11:40Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• QuantTune: Optimizing Model Quantization with Adaptive Outlier-Driven Fine Tuning [16.50084447690437]
  この研究は、これらの精度低下の原因を明らかにし、量子化フレンドリな微調整法である textbfQuantTune を提案している。 提案手法は, ViT, Bert-base, OPT など,トランスフォーマーベースモデルにおけるポストトレーニング量子化の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-03-11T08:09:30Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Differentiable Model Compression via Pseudo Quantization Noise [99.89011673907814]
  本稿では,モデルパラメータに独立な擬似量子化雑音を加えて量子化演算子の効果を近似する。 本手法が,画像分類,言語モデリング,音声ソース分離などのベンチマークやアーキテクチャにおいて,最先端の量子化技術を上回ることを実験的に検証した。
  論文  参考訳（メタデータ） (2021-04-20T14:14:03Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。