論文の概要: SITAR: A Situational Distortion Metric for Automatic Speech Recognition Evaluation
- arxiv url: http://arxiv.org/abs/2610.21440v1
- Date: Thu, 15 Oct 2026 07:48:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.259122
- Title: SITAR: A Situational Distortion Metric for Automatic Speech Recognition Evaluation
- Title（参考訳）: SITAR:自動音声認識評価のための状況歪み指標
- Abstract要約: 自動音声認識(ASR)のための状況歪み尺度であるSITARを紹介する。
我々はSITARを、単一のフォワードパスで参照-仮説ペアをスコアする軽量BERTファミリー回帰器として訓練する。
本稿では,マクロレベルとマイクロレベルで評価された外在的妥当性と内在的スコアラー信頼性の両方にまたがる原則的検証プロトコルを定式化する。
- 参考スコア（独自算出の注目度）: 19.966845532052172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In automatic speech recognition (ASR), transcription errors with similar lexical or semantic discrepancies can have markedly different consequences for the situation conveyed by speech. Capturing these differences requires not merely contextual assessment, but an understanding of what the spoken discourse describes, establishes, or seeks to bring about. However, relying on LLM judges introduces computational cost and scoring variability. We introduce SITAR, a situational distortion metric for ASR, realized through a comprehensive end-to-end construction framework. Specifically, this framework aggregates situational severity and cumulative extent into a unified score via a bounded recursive formulation. Using targets derived from this formulation with limited offline LLM support, we train SITAR as a lightweight BERT-family regressor that scores reference-hypothesis pairs in a single forward pass, entirely free of any prohibitive runtime costs. Recognizing that introducing a new metric demands rigorous justification, we formalize a principled validation protocol spanning both extrinsic validity, assessed at macro and micro levels, and intrinsic scorer reliability. The former, evaluated across diverse datasets and models, demonstrates that SITAR reliably tracks broad capability scaling while providing orthogonal diagnostic utility, whereas the latter, examined on a purpose-built controlled benchmark, confirms the operational soundness of the scoring instrument itself. Through systematic validation, we demonstrate that SITAR holds strong potential as a practical, lightweight complement to existing ASR metrics. We will release the full recipes (code, model weights, dataset, etc.) after the internal review to support community research.
- Abstract（参考訳）: 自動音声認識(ASR)では、類似の語彙や意味の相違による書き起こし誤りは、音声によって伝達される状況に対して著しく異なる結果をもたらす可能性がある。
これらの違いを捉えるには、単に文脈的評価を必要とするだけでなく、話し言葉が何を説明するか、確立するか、あるいは持ち込もうとするのを理解する必要がある。
しかし、LLMの判断に依存すると、計算コストと評価変数が生じる。
本稿では, 総合的なエンドツーエンド構築フレームワークを通じて実現された, ASRの状況歪み指標であるSITARを紹介する。
具体的には、このフレームワークは、条件付き再帰的定式化を通じて、状況重大度と累積範囲を統一スコアに集約する。
この定式化と、限定的なオフラインLLMサポートによるターゲットを用いて、SITARを単一のフォワードパスで参照-仮説ペアをスコアする軽量BERTファミリー回帰器として訓練する。
新たな計量基準の導入は厳密な正当性を要求していることを認識し,外在的妥当性,マクロおよびマイクロレベルでの評価,内在的スコアラー信頼性の両面にまたがる原則的検証プロトコルを定式化する。
前者は多様なデータセットやモデルで評価され、SITARは直交診断ユーティリティを提供しながら、幅広い能力のスケーリングを確実に追跡している。
体系的な検証を通じて、SITARは既存のASRメトリクスの実践的で軽量な補完として強い可能性を秘めていることを示す。
コミュニティリサーチをサポートするための内部レビューの後、すべてのレシピ(コード、モデルウェイト、データセットなど)をリリースします。
関連論文リスト
- An Evaluation Framework for Structured Audio Captions Validated by Controlled Perturbations [16.51678229294975]
構造化音声記述に適した多軸評価フレームワークを提案する。
タグセット,説明,論理的推論,数値計測,スペクトルプロファイルの5つの軸の出力を評価する。
本研究により,本枠組みは意味保存パラフレーズを意味論的・音響的腐敗と区別することに成功した。
論文 参考訳（メタデータ） (2026-07-23T15:26:52Z) - Measuring Semantic Progress in Multi-turn Dialogue via Information Gain [7.146946575593476]
我々は,情報探索対話における重要な側面であるセマンティック・プログレスに焦点を当てた。
埋め込み空間に近似する情報理論計量を導入する。
実験の結果,提案指標は人間の判断と競合する一致を示した。
論文 参考訳（メタデータ） (2026-06-10T17:04:59Z) - Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。
複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
論文 参考訳（メタデータ） (2026-05-28T06:23:31Z) - ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models [12.527207210862151]
ReHearは、自動音声認識における反復的な擬似ラベル改善のためのフレームワークである。
命令調整されたオーディオ対応の大規模言語モデルを自己学習ループに統合する。
ReHearはエラーの伝播を効果的に軽減し、教師付きベースラインと疑似ラベルベースラインの両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-21T05:04:22Z) - Hallucination Benchmark for Speech Foundation Models [33.92968426403491]
自動音声認識(ASR)システムにおける幻覚とは、基礎となる音響入力(すなわち、音声信号)とは全く無関係な神経性ASRモデルによって生成される流動的でコヒーレントな転写を指す。
この明らかな一貫性は、その後の処理段階を誤解させ、特に医療や法のような重要な領域において重大なリスクをもたらす可能性がある。
本稿では,ASRにおける幻覚現象を,語彙,音声,形態,意味の4つの相補軸に沿って体系的に分類し,定量化する最初のベンチマークフレームワークであるSHALLOWを紹介する。
論文 参考訳（メタデータ） (2025-10-18T16:26:16Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Toward Practical Automatic Speech Recognition and Post-Processing: a
Call for Explainable Error Benchmark Guideline [12.197453599489963]
本稿では,Error Explainable Benchmark (EEB) データセットの開発を提案する。
このデータセットは、音声レベルとテキストレベルの両方を考慮しているが、モデルの欠点を詳細に理解することができる。
我々の提案は、より現実世界中心の評価のための構造化された経路を提供し、ニュアンスドシステムの弱点の検出と修正を可能にします。
論文 参考訳（メタデータ） (2024-01-26T03:42:45Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳（メタデータ） (2023-10-18T16:27:49Z) - Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。
実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。
我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文 参考訳（メタデータ） (2023-08-28T03:03:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。