論文の概要: Streaming Speech Recognition on a Microcontroller: a 65.7M-Parameter Transducer in 2 and 4 Bits on the ESP32-P4
- arxiv url: http://arxiv.org/abs/2610.38739v1
- Date: Wed, 28 Oct 2026 19:30:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.405833
- Title: Streaming Speech Recognition on a Microcontroller: a 65.7M-Parameter Transducer in 2 and 4 Bits on the ESP32-P4
- Title（参考訳）: マイクロコントローラ上のストリーミング音声認識:ESP32-P4上の2ビットと4ビットの65.7Mパラメータ変換器
- Abstract要約: Cエンジンはそれぞれの1.28 sのオーディオを両方のコアで0.90 sで処理し、ビームサーチを内蔵し、PCビルドはチップと同じビットを演算する。
LibriSpeech WERはテストクリーンが4.34%、他が10.26%、リリースモデルが3.94%、9.17%である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We run Kroko, a 65.7M-parameter streaming Zipformer2 transducer for English, on the ESP32-P4, a microcontroller with two 400 MHz RISC-V cores, a 128-bit SIMD extension (PIE) and 32 MB of PSRAM, but no neural accelerator. Without any training, the encoder's 290 matrices are stored with 2 or 4 bits per weight in Hadamard-rotated groups: the width of each matrix comes from its measured sensitivity, and each matrix is first corrected toward the original model's output, then rounded with GPTQ and a search over the group norms. The released 71 MB of int8 weights become a 26.65 MB file. Activations are int16 between the matrix products and int8 into them. A C engine with hand-written PIE kernels processes each 1.28 s chunk of audio in 0.90 s on both cores, beam search included, and its PC build computes the same bits as the chip, so accuracy is measured on whole test sets. LibriSpeech WER is 4.34% on test-clean and 10.26% on test-other, against 3.94% and 9.17% for the released model; on FLEURS and Common Voice the gap grows to 2.3 and 1.1 points. A GPU simulator shows that the integer arithmetic costs nothing and that the whole gap comes from the weights, and an ablation on all of test-clean shows that GPTQ does most of the work. We also report the port's speed history, from 51.3 s to 0.62 s of encoder time per chunk, each design step measured again in one build, an attempt to reach 16 MB that stopped at 19.63 MB, and what did not work. We did not measure energy. The inference engine, the firmware and the 2/4-bit weights are available at https://github.com/BoumedineBillal/esp32-pie-asr.
- Abstract（参考訳）: ESP32-P4は2つの400MHzのRISC-Vコアと128ビットSIMD拡張(PIE)と32MBのPSRAMを持つが、ニューラルアクセラレータはない。
エンコーダの290の行列は、アダマール回転群に2ビットから4ビットの質量で格納され、各行列の幅はその測定感度から得られ、各行列は最初に元のモデルの出力に向けて修正され、次にGPTQとグループノルムのサーチで丸められる。
リリースされた71MBのint8重みは26.65MBのファイルになった。
活性化はマトリックス生成物と int8 の間の int16 である。
手書きのPIEカーネルを持つCエンジンは、両方のコアで1.28 sのオーディオを処理し、ビームサーチを含む0.90 sで処理し、そのPCビルドはチップと同じビットを演算するので、テストセット全体で精度が測定される。
LibriSpeech WERはテストクリーンが4.34%、他のモデルが10.26%、リリースモデルが3.94%、9.17%、FLEURSとCommon Voiceが2.3ポイント、Common Voiceが1.1ポイントである。
GPUシミュレーターは、整数算術には何の費用もかからず、全体のギャップは重みから来ていることを示しており、テストクリーンの全てに対するアブレーションは、GPTQがほとんどの作業を行うことを示している。
また,1チャンクあたり51.3秒から0.62秒のエンコーダ時間,各設計ステップを1回のビルドで再度測定し,19.63MBで停止する16MBに到達しようとする試み,動作しなかったことを報告した。
私たちはエネルギーを測らなかった。
推論エンジン、ファームウェア、および2/4ビットのウェイトはhttps://github.com/BoumedineBillal/esp32-pie-asr.comで入手できる。
関連論文リスト
- Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data [51.56484100374058]
Mixture-of-Experts (MoE)モデルは、小さなバッチサイズでインタラクティブデコーディング中にメモリからルート付きエクスプロイト重みをロードすることでボトルネックとなる。
チャネル選択はキャリブレーションデータを必要としないことを示す。
3つのスケッチでチャンネルを画面表示し、低ランクマップでスキップされたチャンネルを復元する。
論文 参考訳（メタデータ） (2026-10-27T15:11:35Z) - Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization [73.31438661879197]
Gemma 4 E4B のパラメータの35.2%を占める Per-Layer Embeddings (PLE) の極端な圧縮について検討した。
このような速度で、従来の量化器は各トークン層ベクトルに数バイトの独自の符号を与える。
我々は,トークン毎に1つの量子化されたコードを格納し,それを各層でデコードするOPTIC-Output-Path-fited,Token-Shared Indexed Codesを開発した。
論文 参考訳（メタデータ） (2026-10-22T14:07:01Z) - Oído: Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator [0.0]
Odoは、ESP32-S3で完全にオープン語彙の英語音声認識を実行する推論エンジンである。
同じチップ上のベンダーの認識器より2.3-2.8倍少ないエラーである。
ストリーミング版では、話者が話している間に部分テキストを表示し、3.6-10.6秒のクリップの後、最終テキスト4.1-11.1秒を配信する。
論文 参考訳（メタデータ） (2026-10-09T11:48:37Z) - Unfolding the Leech Lattice: Fused Multi-Shell Decoding and VRAM Layouts for 2-Bit LLM Weights [8.550323073861415]
リーチ格子ベクトル量子化は、最強の報告された2ビット品質を独自の評価プロトコルで保持する。
本報告では, バッチ1におけるデコード相GEMVの供用コストを計測する。
論文 参考訳（メタデータ） (2026-09-02T14:26:06Z) - What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine [0.0]
一致したモデルのサイズと精度をトレーニングし、量子化されたチェックポイントを、fp16のモデルに比例した構造で識別する。
私たちは推論中にANEのメモリコントローラのバイトカウンタを読み、コンパイラが意図したものではなく実際に実行するものを確立しました。
論文 参考訳（メタデータ） (2026-08-22T21:22:24Z) - A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi [0.0]
このレポートはハードウェアを維持し、適合するモデルに何ができるかを尋ねる。
SigLIP2エンコーダとウィンドウアテンションマージを組み合わせた,現代的なマルチモーダルアシスタントであるMini-V-4.6をデプロイする。
システムは、画像質問のエンドツーエンドを1.7秒で答える。
論文 参考訳（メタデータ） (2026-07-16T04:48:44Z) - RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。
これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。
128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
論文 参考訳（メタデータ） (2026-06-23T00:17:48Z) - From Compression to Deployment: Real-Time and Energy-Efficient FastGRNN on Ultra-Constrained Microcontrollers [0.0]
本稿では、2つのベアメタルターゲット上に配置されたコンパクトゲートセルであるFastGRNNのエンドツーエンドのオープンソース再生について述べる。
このモデルは重量566バイトを占め、HAPTテストセット上でマクロF1 = 0.918(シード0; 5シードQ15は0.853+-0.107)を達成する。
どちらのプラットフォームも、リアルタイム50Hzのストリーミング推論(Arduinoでは9.21ms、MSP430では13ms)を維持しており、256エントリのシグモイド/タンのルックアップテーブルは30.5倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2026-06-15T19:49:38Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳（メタデータ） (2022-12-19T18:48:33Z) - LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。
175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
論文 参考訳（メタデータ） (2022-08-15T17:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。