論文の概要: Beyond Word Error Rate: A Failure Taxonomy of Streaming Dictation ASR
- arxiv url: http://arxiv.org/abs/2611.16919v1
- Date: Thu, 12 Nov 2026 15:09:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.496113
- Title: Beyond Word Error Rate: A Failure Taxonomy of Streaming Dictation ASR
- Title(参考訳): 単語誤り率を超える:ストリーミングディクテーションASRの失敗分類
- Abstract要約: 音声認識システムは、通常、記録されたファイルの単語誤り率(WER)で比較される。
ディクテーションでは、音声はライブでストリーミングされ、テキストはユーザーのメッセージに書き込まれます。
このテストセットは、1人の話者から106のスクリプトによる英語の発音を含む。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speech recognition (ASR) systems are usually compared by word error rate (WER) on recorded files, after punctuation, capital letters and number format are removed. In dictation, the audio is streamed live and the text goes into the user's message as written, so what matters is which mistakes the user has to fix. The test set, streamed to eleven ASR systems, comprises 106 scripted English dictations from one speaker (read in a quiet room, with a fan on, and whispered), 20 clips in each of eleven other language and dialect sets, and 400 recordings that join clips in two languages. Every error was sorted by a fixed rule into four levels: recognition, output formatting, language handling and, for the self-hosted models, audio dropped before the model. Systems with similar WER failed in different ways. Zoom Scribe and OpenAI's GPT-Live-Transcribe have almost the same WER on quiet English (7.4% and 7.3%), but 34.7% and 8.8% on whispered English. Zoom and both AssemblyAI models left out 26-28% of whispered words, and still 21-26% with their end-of-turn detection relaxed or off; seven other systems left out at most 3%. Qwen3-ASR's 32% came from the speech detection in our own deployment (6% when relaxed). Across 107 EARS speakers, the same four systems lost 7-31% of whispered words, while six others lost under 2%. With only English selected, Gemini, Deepgram and our self-hosted Whisper lost the non-English part of a two-language recording in 86-99% of recordings, against 33-46% with both languages selected, while GPT-Live-Transcribe, OpenAI's realtime Whisper and Meta lost it in at most 20%. Running Whisper behind a Silero voice activity detector that drops audio judged to be silence raised whispered WER from 10.1% to 51.4%. Most English results come from one read speaker. The code, the recordings, both references and every transcript are released.
- Abstract(参考訳): 音声認識(ASR)システムは、通常、記録されたファイルのワードエラー率(WER)で比較される。
ディクテーションでは、音声はライブでストリーミングされ、テキストはユーザーのメッセージに書き込まれます。
テストセットは、11のASRシステムにストリームされ、1つの話者(静かな部屋、ファンオン、ささやきのある)から106のスクリプトによる英語のディクテーション、11の他の言語と方言セットのそれぞれ20のクリップ、そして2つの言語でクリップと結合する400のレコードで構成されている。
すべてのエラーは固定されたルールで分類され、認識、出力フォーマット、言語ハンドリング、そして自己ホスト型モデルでは、音声はモデルの前に低下した。
同様のWERを持つシステムは、様々な方法で失敗した。
Zoom ScribeとOpenAIのGPT-Live-Transcribeは、静かな英語(7.4%と7.3%)でほぼ同じWERを持っているが、34.7%と8.8%はささやき英語である。
ZoomとAmblyAIの両モデルは、26~28%のささやきを消し、21~26%は、エンド・オブ・ターンの検出を緩和または停止した。
Qwen3-ASRの32%は、私たちのデプロイメントにおける音声検出(リラックスすると6%)から来ています。
107人のEARSスピーカーのうち、同じ4つのシステムは7~31%の単語をまき散らし、他の6つは2%以下に減った。
GPT-Live-TranscribeはOpenAIのリアルタイムWhisperとMetaは少なくとも20%で失った。
サイレロの音声活動検知器の後方でウィスパーを走らせ、サイレントであると判断された音声を落とすと、WERは10.1%から51.4%に上昇した。
ほとんどの英語の検索結果は1つの読み上げ話者から得られます。
コード、レコード、参照、およびすべての書き起こしがリリースされる。
関連論文リスト
- Alania-2: Turkish text-to-speech with instant and fine-tuned voice cloning [0.0]
アラニア-2 (Alania-2) はトルコの音声合成システムである。
我々は、トルコ語18,195時間のスピーチをゼロからトレーニングし、その90%は、より大きな教師モデルによって生成され、自動的にフィルタリングされる合成音声である。
Freya-TR-Evalでは、自動音声認識による495のトルコ語文の公開ベンチマークを行い、Alania-2は従来の5.99%に比べて1.44%の単語誤り率に達した。
論文 参考訳(メタデータ) (2026-11-10T10:04:47Z) - DIY Customized Speech Recognition for a Person with Speech Disabilities [45.88028371034407]
本稿では,脳性麻痺者を対象とした音声認識システムの設計,実装,評価について述べる。
OpenAIのWhisperメディアとLow-Rank Adaptation (LoRA) を用いた大規模v3モデルを、最初の著者自身の講演から記録されたオーディオサンプルに微調整した。
これらのモデルに基づいて、最初の著者はリアルタイムインタプリタとして機能するモバイルアプリケーションであるAVozを開発した。
論文 参考訳(メタデータ) (2026-11-08T12:04:29Z) - GigaSpeech 3: Scaling Multi-Dialect Arabic Speech Recognition with Weakly Labeled Data [61.606738450096024]
GigaSpeech 3は、アルジェリア語、エジプト語、イラク語、サウジアラビア語、シリア語を含む、約39,000時間1000万の音声セグメントからなるコーパスである。
音声認識バイアス付き自己教師型学習を用いてラベル付けモデルを訓練し,それを方言対応Webオーディオに適用する。
GigaSpeechBenchでは、最後の方言特有のモデルは5つの方言全てでラベル付けモデルより優れている。
論文 参考訳(メタデータ) (2026-11-02T03:47:10Z) - Measuring the Verifier's Floor: How Much Apparent Rare-Word Text-to-Speech Error Is ASR Error? [0.2624902795082451]
LibriSpeech と FLEURS では、評価認識器は、人間のスピーチにおいても、非常に稀な単語の33-67%を欠いている。
残りの調整済みエラーの半数は変種を綴じている可能性があるため、リスニングテストが必要である。
論文 参考訳(メタデータ) (2026-10-22T15:59:54Z) - How to Reduce Whisper Hallucination [0.0]
ひとつは寛容にライセンスされたチェックポイント、99の言語、言語ごとのチューニングなしです。
42クリップの純ルームトーンでは、whisper-large-v3は61.9%で単語を出力し、100%で何かを出力する。
最高のチェックポイントは、61.9%から2.4%までの沈黙と、99.9%から47.8%までの実際の無声音声に関する言葉を幻覚させる。
論文 参考訳(メタデータ) (2026-09-26T12:35:29Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳(メタデータ) (2026-07-29T02:42:56Z) - PashtoTTS-Bench: automated screening for low-resource non-Latin-script text-to-speech [0.0]
単一ASRラウンドトリップ単語誤り率(WER)に依存する低リソース非ラテン文字言語に対するテキスト音声による評価は失敗する可能性がある
これらのケースを分離するレポートフレームワークであるINSVを紹介します。
我々は、Pashto TTSのベンチマークであるPashtoTTS-BenchとしてINSV-Aをインスタンス化する。
論文 参考訳(メタデータ) (2026-05-26T13:03:20Z) - Unsupervised Speech Recognition [55.864459085947345]
wav2vec-Uは、ラベル付きデータなしで音声認識モデルを訓練する方法である。
我々は、自己教師付き音声表現を活用して、ラベルなし音声をセグメント化し、これらの表現から相手の訓練を通して音素へのマッピングを学習する。
より大きな英語のLibrispeechベンチマークでは、wav2vec-Uは、わずか2年前の960時間のラベル付きデータに基づいてトレーニングされた最も優れたシステムに匹敵する、他のテストで5.9の単語エラー率を達成した。
論文 参考訳(メタデータ) (2021-05-24T04:10:47Z) - UniSpeech: Unified Speech Representation Learning with Labeled and
Unlabeled Data [54.733889961024445]
ラベル付きデータとラベル付きデータの両方を用いて音声表現を学習するためのUniSpeechという統合事前学習手法を提案する。
公立CommonVoiceコーパス上での言語間表現学習におけるUniSpeechの有効性を評価する。
論文 参考訳(メタデータ) (2021-01-19T12:53:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。