論文の概要: I-Parakeet: Integer-Only Conformer ASR on Mobile NPU

• arxiv url: http://arxiv.org/abs/2609.30846v1
• Date: Fri, 25 Sep 2026 05:47:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.238917
• Title: I-Parakeet: Integer-Only Conformer ASR on Mobile NPU
• Title（参考訳）: I-Parakeet: Integer-Only Conformer ASR on Mobile NPU
• Abstract要約: I-ParakeetはNVIDIAのParakeet-CTC(0.6Bパラメータ)の整数のみの実装である。 スマートフォンのNPU上で、浮動小数点演算子やCPUのフォールバックなしで動作します。 I-Parakeetは4.97%のWERをLibriSpeechテストで達成し、Qualcomm NPU上でリアルタイムに0.048、7.5倍の速度で動作している。
• 参考スコア（独自算出の注目度）: 4.782711961103507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose I-Parakeet, an integer-only implementation of NVIDIA's Parakeet-CTC (0.6B parameters) that runs on a smartphone NPU without any floating-point operator or CPU fallback. Modern Conformer ASR models are hard to deploy on edge devices because of their size, and quantized models still fall back to floating point for numerically sensitive operations. This prevents them from fully exploiting integer accelerators such as mobile NPUs. To achieve this, our contributions are threefold. First, we derive an integer formulation of the relative-positional self-attention at the core of the Conformer. We fuse its two score branches with different quantization scales and the relative shift into integer-only operations. Second, we introduce a minimax-optimized Swish approximation that minimizes the maximum error of the Swish output. Third, a layer-wise range analysis of activations yields two targeted remedies: an INT16 grid for the BatchNorm output and percentile calibration for the heavy-tailed pre-encoder activations. I-Parakeet achieves 4.97% WER on LibriSpeech test-other, running on a Qualcomm NPU at a real-time factor of 0.048, 7.5x faster than a CPU baseline.
• Abstract（参考訳）: 本稿では,スマートフォンNPUで動作するNVIDIAのParakeet-CTC(0.6Bパラメータ)を,浮動小数点演算子やCPUのフォールバックなしに整数のみで実装するI-Parakeetを提案する。 現代のコンフォーマーASRモデルは、そのサイズのためエッジデバイスにデプロイすることは困難であり、数値化されたモデルは数値に敏感な操作のために浮動小数点に戻る。 これにより、モバイルNPUのような整数アクセラレータを完全に活用することができない。 これを達成するために、私たちの貢献は3倍です。 まず、コンバータのコアにおける相対配置自己アテンションの整数式を導出する。 我々は2つのスコア分岐を異なる量子化スケールで融合し、相対的に整数のみの演算にシフトする。 第二に、スウィッシュ出力の最大誤差を最小限に抑えるミニマックス最適化スウィッシュ近似を導入する。 第3に、アクティベーションの層ワイドレンジ分析は、BatchNorm出力用のINT16グリッドと、重み付きプリエンコーダアクティベーションのためのパーセンタイルキャリブレーションの2つの治療効果をもたらす。 I-Parakeetは4.97%のWERをLibriSpeechテストで達成し、Qualcomm NPU上でリアルタイムに0.048、7.5倍の速度で動作している。

関連論文リスト

• Enabling Fully Integer-Only Inference for Lightweight Detection Transformers [0.19116784879310025]
  変形可能な注意、特徴融合、非線形アクティベーション関数を含む重要なコンポーネントは、整数算術と互換性がない。 完全整数のみの軽量DETRであるI-LW-DETRを開発した。 I-LW-DETRは、マルチスケールプロジェクタの各ブランチに独立したアクティベーションスケールを割り当てるスケール保存分割畳み込み、SD-ShiftGELU、精度の低下を回避しつつ要素ワイドな振る舞いを保存するサイン依存GELU近似、安定したソフトマックス正規化を維持する制約付きShiftmaxの3つの主要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2026-07-27T18:33:18Z)
• AutoFHE: Automated Adaption of CNNs for Efficient Evaluation over FHE [17.869772108541998]
  本稿では,RSS-CKKSの下でセキュアな推論を行うAutoFHEを提案する。 我々は、AutoFHEが高次手法と比較して、セキュアな推論を1.32times$から1.8times$に加速することを示す。 また、低度の手法に比べて2.56%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-10-12T03:28:14Z)
• SKI to go Faster: Accelerating Toeplitz Neural Networks via Asymmetric Kernels [69.47358238222586]
  Toeplitz Neural Networks (TNN) は、印象的な結果を持つ最近のシーケンスモデルである。 我々は, O(n) 計算複雑性と O(n) 相対位置エンコーダ (RPE) 多層パーセプトロン (MLP) と減衰バイアスコールの低減を目指す。 双方向モデルの場合、これはスパースと低ランクのToeplitz行列分解を動機付ける。
  論文  参考訳（メタデータ） (2023-05-15T21:25:35Z)
• I-ViT: Integer-only Quantization for Efficient Vision Transformer Inference [3.067607520161916]
  ビジョントランスフォーマー (ViT) は様々なコンピュータビジョンアプリケーションで最先端のパフォーマンスを実現している。 これらのモデルにはかなりのストレージと計算オーバーヘッドがあり、エッジデバイスへのデプロイメントと効率的な推論が困難である。 整数演算とビットシフトによる推論の計算グラフ全体の実行を可能にするために,ViTの整数のみの量子化方式であるI-ViTを提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:37:38Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• I-BERT: Integer-only BERT Quantization [78.43819756382103]
  トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。 I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。 いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
  論文  参考訳（メタデータ） (2021-01-05T02:42:58Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。