論文の概要: Oído: Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
- arxiv url: http://arxiv.org/abs/2610.13447v1
- Date: Fri, 09 Oct 2026 11:48:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.55728
- Title: Oído: Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
- Title(参考訳): Oído: ニューラル加速器を使わずに5ドルのマイクロコントローラ上でのオープン語彙音声認識
- Abstract要約: Odoは、ESP32-S3で完全にオープン語彙の英語音声認識を実行する推論エンジンである。
同じチップ上のベンダーの認識器より2.3-2.8倍少ないエラーである。
ストリーミング版では、話者が話している間に部分テキストを表示し、3.6-10.6秒のクリップの後、最終テキスト4.1-11.1秒を配信する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speech recognition on low-cost microcontrollers is, in practice, limited to keyword spotting or a fixed list of commands. We present Oído, an inference engine that runs open-vocabulary English speech recognition entirely on an ESP32-S3 (240 MHz dual-core Xtensa LX7, 512 KB of SRAM, 8 MB of PSRAM, 16 MB of flash, no neural accelerator). Oído executes a 13M-parameter Conformer-CTC model with int8 weights, per-frame dynamic int8 activations and int8 attention on the chip's SIMD instructions, with a schedule designed around flash and PSRAM bandwidth. On LibriSpeech test-clean/test-other the on-device arithmetic reaches 3.70%/8.23% word error rate (WER), within 0.12 points of full precision, and 3.33%/7.15% with an on-chip 1.3M-parameter language model; a transducer head gives 2.99%/6.67% and an int4 variant fits in 8.3 MB. This is 2.3-2.8x fewer errors than the vendor's recognizer on the same chip, and fewer than Whisper tiny.en and Moonshine tiny in full precision on a laptop, including in real noise and reverberation. Measured on a physical board, the firmware runs at 1.97x the duration of the audio on one core, with transcripts identical to an instruction-exact emulator: accurate, but not yet real time (a 4 s command is transcribed about 8.7 s after it ends). The two-core schedule gives wrong results on silicon and is disabled. A streaming variant shows partial text while the speaker talks and delivers the final text 4.1-11.1 s after clips of 3.6-10.6 s (7.2-22.4 s in utterance mode) at 4.86%/11.03% WER; a Spanish model makes 34-60% fewer errors than multilingual Whisper tiny. Code and models are released.
- Abstract(参考訳): 低コストマイクロコントローラでの音声認識は、実際にはキーワードスポッティングやコマンドの固定リストに限られている。
ESP32-S3(240MHzのデュアルコアXtensa LX7, 512KBのSRAM, 8MBのPSRAM, 16MBのフラッシュ, ニューラルアクセラレータなし)で完全に音声認識を行う推論エンジンであるOídoを提案する。
Oídoは13MパラメータのConformer-CTCモデルを実行し、int8重み、フレームごとの動的int8アクティベート、およびint8がチップのSIMD命令に注意を払う。
LibriSpeech test-clean/test-otherでは、オンデバイス演算が3.70%/8.23%のワードエラー率(WER)に達し、0.12ポイント以内の精度で、3.33%/7.15%がオンチップ1.3Mパラメータ言語モデルで、トランスデューサヘッドは2.99%/6.67%、int4は8.3MBに収まる。
これは、同じチップ上のベンダーの認識器よりも2.3-2.8倍少ないエラーであり、実際のノイズや残響を含むラップトップ上の完全精度でWhisper little.enやMoonshineよりも少ない。
物理基板上で測定されたファームウェアは、1コアのオーディオの期間の1.97倍で、インストラクション・エクサクト・エミュレータと同一の書き起こし:正確だが、まだリアルタイムではない(完了後約8.7秒で4 sコマンドが書き起こされる)。
2コアのスケジュールはシリコンに間違った結果を与え、無効にする。
ストリーミング版では、話者が話している間に部分テキストを表示し、最後の4.1-11.1秒を3.6-10.6秒(発声モードでは7.2-22.4秒)で4.86%/11.03% WERで送信する。
コードとモデルがリリースされている。
関連論文リスト
- Same Bit Width, Different Outcomes: Post-Training Quantization of Text-to-Speech Across Architectures [3.636240564994662]
トレーニング後量子化(PTQ)はデバイス上でのテキスト音声(TTS)のコストを削減する
我々は,TTSアーキテクチャ上でのPTQを1つのプロトコルで評価し,3つのコアモデル,さらに8つの重み付けとアクティベーションの短縮,および2つのホールドアウトモデルを定量化した。
論文 参考訳(メタデータ) (2026-09-24T03:41:28Z) - vla.simd: Efficient CPU Inference for Language-Conditioned Manipulation [2.02413016369165]
vla.simdは、共有SIMDマイクロカーネル、再利用可能な計算、ターゲット固有の最適化を組み合わせたCPU推論エンジンである。
IMPACTは、評価セットの中で唯一、Raspberry Pi 5上で少なくとも30アクション/秒を供給している言語条件のポリシーです。
論文 参考訳(メタデータ) (2026-09-21T08:39:07Z) - What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine [0.0]
一致したモデルのサイズと精度をトレーニングし、量子化されたチェックポイントを、fp16のモデルに比例した構造で識別する。
私たちは推論中にANEのメモリコントローラのバイトカウンタを読み、コンパイラが意図したものではなく実際に実行するものを確立しました。
論文 参考訳(メタデータ) (2026-08-22T21:22:24Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳(メタデータ) (2026-07-29T02:42:56Z) - VibeVoice-ASR-BitNet Technical Report [86.93881874028209]
VibeVoice-ASR-BitNetは、エッジCPU上のリアルタイム推論に最適化されたVibeVoice-ASRの圧縮版である。
攻撃的圧縮下での精度を維持するために,プログレッシブ量子化対応トレーニング戦略を実装した。
VibeVoice-ASR-BitNetはWhisperより1.6-2.3倍速い。
論文 参考訳(メタデータ) (2026-07-23T09:08:04Z) - TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。
音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。
3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文 参考訳(メタデータ) (2026-06-07T07:15:34Z) - Qwen3-TTS Technical Report [64.94647392030824]
本稿では,Qwen3-TTSシリーズについて述べる。
Qwen3-TTSは最先端の3秒間音声クローニングと記述ベースの制御をサポートする。
Qwen3-TTSは、2つの音声トークンとともに、リアルタイム合成のためのデュアルトラックLMアーキテクチャを採用している。
論文 参考訳(メタデータ) (2026-01-22T03:51:43Z) - RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech
Translation without Quality Compromise [66.92823764664206]
我々は,任意のトランスフォーマーベース音声符号化アーキテクチャにシームレスに統合可能な,新しいReduceer AdaptorブロックRedAptを提案する。
事前訓練されたwav2vec 2音声エンコーダをRedAptbrings 41%の高速化、33%のメモリ削減、24%のFLOPを推論で削減した。
論文 参考訳(メタデータ) (2022-10-16T07:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。