論文の概要: VoiceCodeBench: Evaluating Exact Structured-Token Recovery in Automatic Speech Recognition
- arxiv url: http://arxiv.org/abs/2608.28916v1
- Date: Fri, 28 Aug 2026 22:23:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.785608
- Title: VoiceCodeBench: Evaluating Exact Structured-Token Recovery in Automatic Speech Recognition
- Title（参考訳）: VoiceCodeBench: 音声認識における厳密な構造化トークン復元の評価
- Abstract要約: 書き起こしは、下流システムが解析、保存、実行しなければならない値を破損させながら、流動的に現れ、低いWERを達成することができる。
本稿では、英語ASRにおける正確な構造化トーケン回復を評価するためのベンチマークであるVoiceCodeBenchを紹介する。
- 参考スコア（独自算出の注目度）: 2.921583994766779
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic speech recognition (ASR) systems are commonly evaluated with word error rate (WER), yet many voice workflows depend on exact written values for identifiers, paths, and measured quantities. A transcript can appear fluent and achieve low WER while corrupting a value that a downstream system must parse, store, or execute. We introduce VoiceCodeBench, a benchmark for evaluating exact structured-token recovery in English ASR. It contains 300 human-recorded workplace segments spanning eight workflow domains and 1,482 audited target entities across 26 entity types, each with a canonical written form recoverable from the audio. Under a raw-audio-only protocol, systems receive audio bytes without additional context or metadata. Alongside WER, we evaluate Canonical Token/Entity Match (CTEM), Task Success Rate (TSR), and per-type exact recovery. Across 12 baseline ASR systems, lower WER generally corresponded to better structured-token recovery but did not fully determine it: Spearman correlations were -0.73 for both WER versus CTEM and WER versus TSR. The strongest baseline by TSR reached only 68.7%, leaving nearly one third of recordings with at least one unrecovered workflow-critical value. These results show that entity-sensitive metrics are needed to assess whether ASR output preserves exact values that production systems must parse, route, store, compare, or execute.
- Abstract（参考訳）: 音声認識(ASR)システムはワードエラー率(WER)で一般的に評価されるが、多くの音声ワークフローは識別子、パス、測定値の正確な記述値に依存している。
書き起こしは、下流システムが解析、保存、実行しなければならない値を破損させながら、流動的に現れ、低いWERを達成することができる。
本稿では、英語ASRにおける正確な構造化トーケン回復を評価するためのベンチマークであるVoiceCodeBenchを紹介する。
8つのワークフロードメインにまたがる300の人間記録された職場セグメントと、26のエンティティタイプにまたがる1,482の監査対象エンティティを含む。
生のオーディオのみのプロトコルでは、システムは追加のコンテキストやメタデータなしでオーディオバイトを受け取る。
WERとともに、標準トークン/エンティティマッチング(CTEM)、タスク成功率(TSR)、タイプ毎の正確なリカバリを評価した。
12基の ASR システム全体では、低い WER は概してより優れた構造的トーケン回復に対応していたが、完全には決定されなかった。
TSRによる最強のベースラインは68.7%に達し、記録の3分の1近くと少なくとも1つの未発見のワークフロークリティカルな価値を残した。
これらの結果は、ASR出力がプロダクションシステムが解析、ルート、ストア、比較、実行しなければならない正確な値を保存するかどうかを評価するために、エンティティに敏感なメトリクスが必要であることを示している。
関連論文リスト
- AgenticASR: Refining Speech Recognition in Real-World Scenarios via an Agentic Approach [15.617770133323077]
Agentic Speech Recognition (AgenticASR) は、音声からクリーンテキストのタスクである。
障害を取り除き、自己補正を解決し、書式を正規化する。
AgenticASRは評価システムの中でAASR-Benchスコアが最も高い。
論文 参考訳（メタデータ） (2026-07-30T13:12:25Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。
複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
論文 参考訳（メタデータ） (2026-05-28T06:23:31Z) - Automatic Speech Recognition System-Independent Word Error Rate Estimation [23.25173244408922]
単語誤り率(Word error rate、WER)は、自動音声認識(ASR)システムによって生成された文字の質を評価するために用いられる指標である。
本稿では,ASRシステムに依存しないWER推定のための仮説生成手法を提案する。
論文 参考訳（メタデータ） (2024-04-25T16:57:05Z) - BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。
本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
論文 参考訳（メタデータ） (2022-12-16T14:00:26Z) - Streaming Audio-Visual Speech Recognition with Alignment Regularization [69.30185151873707]
本稿では,ハイブリッド接続型時間分類(CTC)/アテンションニューラルネットワークアーキテクチャに基づくストリーミングAV-ASRシステムを提案する。
提案したAV-ASRモデルは、オフラインおよびオンライン設定でLip Reading Sentences 3データセット上で、WERの2.0%と2.6%を達成する。
論文 参考訳（メタデータ） (2022-11-03T20:20:47Z) - Advanced Long-context End-to-end Speech Recognition Using
Context-expanded Transformers [56.56220390953412]
コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。
拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
論文 参考訳（メタデータ） (2021-04-19T16:18:00Z) - WER-BERT: Automatic WER Estimation with BERT in a Balanced Ordinal
Classification Paradigm [0.0]
分類設定におけるe-WERの新たなバランスの取れたパラダイムを提案する。
このパラダイムでは、E-WERの音声機能を備えたBERTベースのアーキテクチャであるWER-BERTも提案しています。
結果と実験は、WER-BERTが自動WER推定において新しい最先端を確立することを示しています。
論文 参考訳（メタデータ） (2021-01-14T07:26:28Z) - Word Error Rate Estimation Without ASR Output: e-WER2 [36.43741370454534]
音声認識システムの単語誤り率(WER)を推定するために,マルチストリームのエンドツーエンドアーキテクチャを用いる。
内部音声デコーダ機能(グラスボックス)、音声デコーダ機能(ブラックボックス)のないシステム、およびASRシステム(ノーボックス)にアクセスできないシステムに対する結果について報告する。
文ごとの WER を考えると,本システムは基準評価とピアソンの0.56の相関と,1,400 文間でのルート平均二乗誤差(RMSE)の0.24の相関を達成できる。
論文 参考訳（メタデータ） (2020-08-08T00:19:09Z) - Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。
APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。
我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
論文 参考訳（メタデータ） (2020-04-09T09:26:42Z) - ASR Error Correction and Domain Adaptation Using Machine Translation [32.27379508770736]
機械翻訳によるASR誤り訂正のための領域適応手法を提案する。
Google ASR出力における単語誤り率の絶対的改善とBLEUスコアの4点絶対的改善を観察した。
論文 参考訳（メタデータ） (2020-03-13T20:05:38Z) - Continuous speech separation: dataset and analysis [52.10378896407332]
自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。
本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
論文 参考訳（メタデータ） (2020-01-30T18:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。