論文の概要: What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR

• arxiv url: http://arxiv.org/abs/2606.31112v1
• Date: Tue, 30 Jun 2026 04:15:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.071592
• Title: What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR
• Title（参考訳）: エラーとは何か?-非定型ASRの二重参照ベンチマーク
• Abstract要約: 我々は,非定型発声音声に対する動詞と意図的参照を用いて,エンコーダ・デコーダ,CTC,トランスデューサの11種類のASRモデルをベンチマークした。 定量的評価は,2つの書き起こしスタイルを用いて,モデル性能とランキングの相違を浮き彫りにする。
• 参考スコア（独自算出の注目度）: 18.64466171116332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ASR systems have been often reported to underperform on atypical speech. An often conflated compounding factor is the existence of two valid transcription references: verbatim (actual produced speech, including repetitions/prolongations) and intended (the canonical form of the text with disfluencies removed) in atypical speech recognition depending on context and use-case. Most ASR evaluations conflate this duality into a single ground truth and reward systems that delete disfluencies, ignoring verbatim faithfulness. We benchmark 11 ASR models from encoder-decoder, CTC and transducer families using both verbatim and intended references on atypical stuttered speech as a case study. Our quantitative assessment underlines the disparity in model performance and rankings using the two transcript styles. Through this analysis, we highlight the importance of selecting a suitable transcription reference for valid model selection depending on the use-case, particularly for atypical ASR.
• Abstract（参考訳）: ASRシステムは、しばしば非定型音声で過小評価されることが報告されている。 しばしば混ざり合った複合化要因は、2つの有効な転写参照の存在である: コンテキストとユースケースに応じて、非定型音声認識において、動詞(繰り返し/延長を含む実際の生成された音声)と意図的(不一致を除去したテキストの標準形式)である。 ほとんどのASR評価は、この双対性を単一の根拠の真実と報酬体系に分割し、不一致を排除し、口頭で忠実さを無視する。 本研究では,非定型発声音声に対する動詞と意図的参照をケーススタディとして,エンコーダ・デコーダ,CTC,トランスデューサの11種類のASRモデルをベンチマークした。 定量的評価は,2つの書き起こしスタイルを用いて,モデル性能とランキングの相違を浮き彫りにする。 この分析を通じて,特に非定型的ASRにおいて,有効モデル選択に適した書き起こし基準を選択することの重要性を強調した。

関連論文リスト

• Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA [2.255961793913651]
  クロスエンコーダは、連続的な摂動に基づく帰属スコアに基づいて、生成前に経路を再ランクするよう訓練した。 異なるモデルで独立に訓練された2つのリランカーは、生の帰属契約を超えて収束する。 その結果、摂動に基づく帰属は、引用認識検索のための実用的、モデルに依存しない訓練信号を提供することを示した。
  論文  参考訳（メタデータ） (2026-06-02T14:48:33Z)
• ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models [12.527207210862151]
  ReHearは、自動音声認識における反復的な擬似ラベル改善のためのフレームワークである。 命令調整されたオーディオ対応の大規模言語モデルを自己学習ループに統合する。 ReHearはエラーの伝播を効果的に軽減し、教師付きベースラインと疑似ラベルベースラインの両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-21T05:04:22Z)
• WESR: Scaling and Evaluating Word-level Event-Speech Recognition [59.21814194620928]
  音声は言語情報だけでなく、笑ったり泣いたりするような豊富な非言語的な音声イベントも伝達する。 我々は,21の発声イベントの分類を改良し,個別(スタンドアローン)と連続(音声と混合)に分類した。 改良された分類法に基づくWESR-Benchは,新しい位置認識プロトコルを備えた専門家アノテート評価セット(900以上の発話)である。
  論文  参考訳（メタデータ） (2026-01-08T02:23:21Z)
• Hallucination Benchmark for Speech Foundation Models [33.92968426403491]
  自動音声認識(ASR)システムにおける幻覚とは、基礎となる音響入力(すなわち、音声信号)とは全く無関係な神経性ASRモデルによって生成される流動的でコヒーレントな転写を指す。 この明らかな一貫性は、その後の処理段階を誤解させ、特に医療や法のような重要な領域において重大なリスクをもたらす可能性がある。 本稿では,ASRにおける幻覚現象を,語彙,音声,形態,意味の4つの相補軸に沿って体系的に分類し,定量化する最初のベンチマークフレームワークであるSHALLOWを紹介する。
  論文  参考訳（メタデータ） (2025-10-18T16:26:16Z)
• Two Heads Are Better Than One: Audio-Visual Speech Error Correction with Dual Hypotheses [71.34350093068473]
  本稿では,音声視覚音声認識(AVSR)における生成誤り訂正(GER)フレームワークの新たなパラダイムを提案する。 我々のフレームワークであるDualHypは、独立した自動音声認識(ASR)モデルと視覚音声認識(VSR)モデルから独立したN-best仮説を構成するために、大規模言語モデル(LLM)を強制する。 我々のフレームワークは、標準のASRベースラインよりもLRS2ベンチマークで57.7%のエラー率を獲得していますが、シングルストリームのGERアプローチでは10%のゲインしか達成できません。
  論文  参考訳（メタデータ） (2025-10-15T08:27:16Z)
• SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
  SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。 事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。 11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
  論文  参考訳（メタデータ） (2025-08-04T03:28:04Z)
• Benchmarking Akan ASR Models Across Domain-Specific Datasets: A Comparative Evaluation of Performance, Scalability, and Adaptability [0.0]
  本研究では,変圧器アーキテクチャ上に構築された7つのASRモデルについてベンチマークを行った。 Whisper と Wav2Vec2 アーキテクチャ間のエラーの挙動を示す。 これらの知見は、ターゲットとなるドメイン適応技術、適応型ルーティング戦略、多言語トレーニングフレームワークの必要性を強調している。
  論文  参考訳（メタデータ） (2025-07-03T08:01:26Z)
• Style-agnostic evaluation of ASR using multiple reference transcripts [0.3066137405373616]
  我々は、ASRシステムのスタイルに依存しない評価を行うことにより、これらの違いのいくつかを軽減することを試みる。 既存のWERレポートは、最先端のASRシステムによる競合エラーの数を大幅に過大評価している可能性が高い。
  論文  参考訳（メタデータ） (2024-12-10T21:47:15Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• End-to-end contextual asr based on posterior distribution adaptation for hybrid ctc/attention system [61.148549738631814]
  エンドツーエンド(E2E)音声認識アーキテクチャは、従来の音声認識システムのすべてのコンポーネントを単一のモデルに組み立てる。 これはASRシステムを単純化するが、文脈的ASRの欠点を導入している: E2Eモデルは、頻繁な固有名詞を含む発話に対して、より悪い性能を持つ。 本稿では,文脈的単語認識能力を向上させるために,文脈バイアスアテンション(CBA)モジュールをアテンションベースエンコーダデコーダ(AED)モデルに追加することを提案する。
  論文  参考訳（メタデータ） (2022-02-18T03:26:02Z)
• Visualizing Classifier Adjacency Relations: A Case Study in Speaker Verification and Voice Anti-Spoofing [72.4445825335561]
  任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。 ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。 提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。