論文の概要: Evolution Strategy-Based Calibration for Low-Bit Quantization of Speech Models

• arxiv url: http://arxiv.org/abs/2603.08173v1
• Date: Mon, 09 Mar 2026 09:53:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.748208
• Title: Evolution Strategy-Based Calibration for Low-Bit Quantization of Speech Models
• Title（参考訳）: 進化戦略に基づく音声モデルの低ビット量子化のための校正
• Authors: Lucas Rakotoarivony,
• Abstract要約: オーディオアクティベーションは、調整されていないキャリブレーション範囲を示すことができ、標準キャリブレーション手法を適用すると、大きな情報損失が生じる。 最適化問題としてアクティベーションスケーリングを定式化して,2段階のローカル・グローバル・スキームを用いて解決する進化戦略に基づくESCを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization has become essential for the efficient deployment of speech processing systems. Although widely studied, most existing quantization methods were developed for vision and NLP architectures, while the specific challenges of audio signals remain largely overlooked. In particular, we show that audio activations can exhibit large calibration ranges, leading to significant information loss when standard calibration techniques are applied. To address this, we propose ESC, an Evolution Strategy-based Calibration method that formulates activation scaling as an optimization problem and solves it using a two-step local-global scheme driven by an evolution strategy. ESC enables unaltered performance under full INT8 quantization and is the first calibration method to achieve near-lossless performance for full INT4 quantization across multiple speech tasks. Integrating ESC with PTQ methods further reduces performance loss, achieving a 1% relative accuracy degradation on the AST model.
• Abstract（参考訳）: 音声処理システムの効率的な展開には量子化が不可欠である。 広範に研究されているが、既存の量子化手法のほとんどは視覚やNLPアーキテクチャ向けに開発されたが、音声信号の具体的な課題はほとんど見落とされたままである。 特に,音声のアクティベーションが大きなキャリブレーション範囲を示すことを示し,標準キャリブレーション手法を適用すると,大きな情報損失が生じることを示した。 そこで本研究では, 進化戦略に基づくキャリブレーション手法であるESCを提案し, 活性化スケーリングを最適化問題として定式化し, 進化戦略によって駆動される2段階の局所-グローバルスキームを用いて解決する。 ESCは、完全なINT8量子化の下での未修正性能を実現し、複数の音声タスクをまたいだINT4量子化において、ほぼ無作為な性能を達成するための最初のキャリブレーション法である。 ESCをPTQ法と統合することで、ASTモデル上で1%の相対的精度劣化を達成することで、パフォーマンス損失をさらに低減する。

関連論文リスト

• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• Post-Training Quantization for Video Matting [20.558324038808664]
  ビデオマッティングは、映画制作やバーチャルリアリティーといった応用に不可欠である。 トレーニング後の量子化(PTQ)は、ビデオマッティングの初期段階にある。 本稿では,ビデオマッチングモデルに特化して設計された,新規で汎用的なPTQフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-12T15:57:14Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Mitigating crosstalk and residual coupling errors in superconducting quantum processors using many-body localization [21.175964469657803]
  本研究では,Multi-Body Localization(MBL)の原理を取り入れた新しい校正手法を提案する。 MBLに基づく手法は,ノイズ,特にクロストークと残差結合誤差に対する頑健な対策として現れる。 このアプローチは、特に特定の残余結合が存在する場合に、パフォーマンスを著しく改善するだけでなく、よりリソース効率が高く、コスト効率のよいキャリブレーションプロセスも提供します。
  論文  参考訳（メタデータ） (2023-10-10T13:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。