論文の概要: Dynamic Quantization Error Propagation in Encoder-Decoder ASR Quantization
- arxiv url: http://arxiv.org/abs/2601.02455v1
- Date: Mon, 05 Jan 2026 18:47:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-07 17:02:12.682245
- Title: Dynamic Quantization Error Propagation in Encoder-Decoder ASR Quantization
- Title(参考訳): エンコーダデコーダASR量子化における動的量子化誤差伝播
- Authors: Xinyu Wang, Yajie Luo, Yihong Wu, Liheng Ma, Ziyu Zhao, Jingrui Tian, Lei Ding, Yufei Cui, Xiao-Wen Chang,
- Abstract要約: 動的量子化エラー伝播(FADE)のための微細アルファ法を提案する。
FADEは、層間誤差補正と局所量子化のトレードオフを適応的に制御する。
実験により,FADEは平均WERのベースラインを上回りながら,走行性能のばらつきを低減し,安定性を著しく向上することが示された。
- 参考スコア(独自算出の注目度): 15.427657243327827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Running Automatic Speech Recognition (ASR) models on memory-constrained edge devices requires efficient compression. While layer-wise post-training quantization is effective, it suffers from error accumulation, especially in encoder-decoder architectures. Existing solutions like Quantization Error Propagation (QEP) are suboptimal for ASR due to the model's heterogeneity, processing acoustic features in the encoder while generating text in the decoder. To address this, we propose Fine-grained Alpha for Dynamic Quantization Error Propagation (FADE), which adaptively controls the trade-off between cross-layer error correction and local quantization. Experiments show that FADE significantly improves stability by reducing performance variance across runs, while simultaneously surpassing baselines in mean WER.
- Abstract(参考訳): メモリ制約エッジデバイス上で自動音声認識(ASR)モデルを実行するには、効率的な圧縮が必要である。
レイヤーワイズ後の量子化は有効であるが、特にエンコーダ・デコーダアーキテクチャではエラーの蓄積に悩まされる。
従来のQEP(Quantization Error Propagation)のようなソリューションは、モデルの不均一性によるASRのサブ最適化であり、デコーダのテキストを生成しながらエンコーダの音響的特徴を処理する。
そこで本稿では, 層間誤り訂正と局所量子化のトレードオフを適応的に制御するFADE(False-fine Alpha for Dynamic Quantization Error Propagation)を提案する。
実験により,FADEは平均WERのベースラインを上回りながら,走行性能のばらつきを低減し,安定性を著しく向上することが示された。
関連論文リスト
- Plug-and-Play Fidelity Optimization for Diffusion Transformer Acceleration via Cumulative Error Minimization [26.687056294842083]
キャッシュベースの手法は、かなりの計算誤差に悩まされながら、トレーニング不要な加速を実現する。
既存の手法では、プルーニングや予測などのエラー訂正戦略を取り入れて緩和するのが一般的である。
本稿では,CEM と呼ばれる累積誤差最小化による既存の誤り訂正手法のための新しい忠実度最適化プラグインを提案する。
論文 参考訳(メタデータ) (2025-12-29T07:36:36Z) - Error-Propagation-Free Learned Video Compression With Dual-Domain Progressive Temporal Alignment [92.57576987521107]
両ドメインのプログレッシブな時間的アライメントと品質条件の混合(QCMoE)を備えた新しい統合変換フレームワークを提案する。
QCMoEは、魅力的なR-Dパフォーマンスで連続的かつ一貫したレート制御を可能にする。
実験結果から,提案手法は最先端技術と比較して,競争力のあるR-D性能を実現することが示された。
論文 参考訳(メタデータ) (2025-12-11T09:14:51Z) - Consistency Flow Model Achieves One-step Denoising Error Correction Codes [28.89866643527586]
高忠実度ワンステップ復号のための誤り補正整合流れモデル(ECCFM)を提案する。
ECCFMは自己回帰や拡散に基づくベースラインよりもビットエラー率(BER)が低い。
拡散デコーダよりも30倍から100倍高速な推論速度を提供する。
論文 参考訳(メタデータ) (2025-12-01T08:07:51Z) - Tensor-network decoders for process tensor descriptions of non-Markovian noise [0.0]
フォールトトレラント計算には量子エラー補正(QEC)が不可欠である。
本稿では,2つのパラダイムQEC符号の性能について検討する。
論文 参考訳(メタデータ) (2024-12-18T11:17:09Z) - ASER: Activation Smoothing and Error Reconstruction for Large Language Model Quantization [18.017182472532415]
ASERは、SVDを白化して構築したLoRAスタイルの行列を用いた量子化誤差に対する低ランク補償からなるアルゴリズムである。
ASERは、典型的な外れ値を低ビットの値に量子化することができる。
論文 参考訳(メタデータ) (2024-11-12T12:52:04Z) - Accelerating Error Correction Code Transformers [56.75773430667148]
本稿では,トランスを用いたデコーダの高速化手法を提案する。
最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
論文 参考訳(メタデータ) (2024-10-08T11:07:55Z) - Deep Quantum Error Correction [73.54643419792453]
量子誤り訂正符号(QECC)は、量子コンピューティングのポテンシャルを実現するための鍵となる要素である。
本研究では,新しいエンペンド・ツー・エンドの量子誤りデコーダを効率的に訓練する。
提案手法は,最先端の精度を実現することにより,QECCのニューラルデコーダのパワーを実証する。
論文 参考訳(メタデータ) (2023-01-27T08:16:26Z) - Denoising Diffusion Error Correction Codes [92.10654749898927]
近年、ニューラルデコーダは古典的デコーダ技術に対する優位性を実証している。
最近の最先端のニューラルデコーダは複雑で、多くのレガシデコーダの重要な反復的スキームが欠如している。
本稿では,任意のブロック長の線形符号のソフトデコードにデノナイズ拡散モデルを適用することを提案する。
論文 参考訳(メタデータ) (2022-09-16T11:00:50Z) - FastCorrect: Fast Error Correction with Edit Alignment for Automatic
Speech Recognition [90.34177266618143]
編集アライメントに基づく新しいNAR誤り訂正モデルであるFastCorrectを提案する。
fastcorrectは推論を6-9倍高速化し、自己回帰補正モデルと比較して精度を8-14%向上させる。
ニューラルマシン翻訳で採用されている一般的なNARモデルの精度を、大きなマージンで上回っています。
論文 参考訳(メタデータ) (2021-05-09T05:35:36Z) - Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。
実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
論文 参考訳(メタデータ) (2020-10-28T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。