論文の概要: SMART: Semantic Segment Mapping and Assessment of Recognition Transcripts with Contextual Rubrics

• arxiv url: http://arxiv.org/abs/2610.27820v1
• Date: Tue, 20 Oct 2026 08:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.714984
• Title: SMART: Semantic Segment Mapping and Assessment of Recognition Transcripts with Contextual Rubrics
• Title（参考訳）: SMART:セマンティックセグメントマッピングと文脈ラブラクスを用いた認識トランスクリプトの評価
• Abstract要約: 意味評価を文脈認識,セグメントレベルの結果評価として定式化する。 トレーサブルなセマンティック評価とターゲットASR補正のためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.041799692395406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word error rate (WER) assigns equal cost to lexical edits despite their different semantic consequences, while overall semantic scores cannot identify which individual errors alter the intended meaning. We formulate ASR semantic evaluation as context-aware, segment-level consequence assessment and propose Semantic Segment Mapping and Assessment of Recognition Transcripts with Contextual Rubrics (SMART), a framework for traceable semantic evaluation and targeted ASR correction. SMART maps reference-hypothesis discrepancies into coherent segments and applies a structured contextual rubric to assign explicit consequence labels. These labels support Semantic Impact Error Rate (SIER), which quantifies consequential errors at utterance, chunk, and lexical levels. Against majority-vote human labels, SMART achieves 0.843 F1 versus 0.745 for direct LLM judgment. Evaluation across multiple LLMs further demonstrates that SMART is relatively insensitive to the choice of evaluation model, while MER and SIER reveal different aspects of ASR quality. A separate target-reference-free rubric guides correction using the target hypothesis and surrounding ASR hypotheses, outperforming a matched w/o Rubric baseline on both datasets, with further absolute reductions of 0.85-0.98 percentage points in MER and 1.18-1.65 percentage points in SIER_lex.
• Abstract（参考訳）: 単語誤り率(WER)は、意味的結果が異なるにもかかわらず語彙的編集に等しいコストを割り当てるが、全体的な意味的スコアは、意図した意味を変える個々のエラーを特定することはできない。 我々は、文脈認識、セグメントレベルの結果評価としてASR意味評価を定式化し、追跡可能な意味評価のためのフレームワークであるSMARTによる認識トランスクリプトのセマンティックセグメンテーションマッピングと評価を提案する。 SMARTは参照-仮説の相違をコヒーレントなセグメントにマッピングし、明示的な結果ラベルを割り当てるために構造化された文脈的ルーリックを適用する。 これらのラベルはセマンティックインパクトエラーレート(SIER)をサポートし、発話、チャンク、語彙レベルで連続的なエラーを定量化する。 多数決の人間ラベルに対して、SMARTは0.843 F1と0.745と直接のLSM判定を達成している。 複数のLCMに対する評価は、SMARTが評価モデルの選択に比較的敏感であることを示し、MERとSIERはASRの品質の異なる側面を明らかにしている。 ターゲット仮説と周囲のASR仮説を用いて補正を行い、両者のデータセットで一致したw/oルーブリックベースラインを上回り、さらにMERでは0.85-0.98ポイント、SIER_lexでは1.18-1.65ポイントの絶対値が減少する。

関連論文リスト

• Rethinking Human-Aligned Evaluation: An Analysis of Semantic Metrics Beyond WER [39.593552073924606]
  HATS-enは人中心ASR評価のための英語データセットである。 BERTScoreとSemDistのいくつかの構成に対して語彙メトリクスをベンチマークする。 We found that WER is least with human judgment among all metrics test。
  論文  参考訳（メタデータ） (2026-09-18T12:00:01Z)
• PA-CDM: Position-Aware Character Detection Matching for Evaluating Handwritten Mathematical Expression Recognition [0.0]
  手書きの数学的表現認識は、正確なマッチ率と、エラーの発生箇所に盲目な文字列類似度メトリクスによって評価される。 そこで本研究では,文字検出と位置フォレスト符号化,分散レベル重み付けを併用した位置認識メトリックを提案する。 PA-CDMは、6つの自動測定値のうち、人間の判断と最も高い相関関係を持つ。
  論文  参考訳（メタデータ） (2026-09-11T14:43:05Z)
• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• The Silent Vote: Improving Zero-Shot LLM Reliability by Aggregating Semantic Neighborhoods [0.0]
  対象ラベルを囲むセマンティック・エリアのスコアを集約することにより,損失情報を復元する推論時間層を提案する。 その結果, 予測誤差 (ECE) とブライアスコア (Brier Score) は, AUROC と Macro-F1 の区別性能を同時に向上した。
  論文  参考訳（メタデータ） (2026-05-10T20:22:10Z)
• Semi-Supervised Regression with Heteroscedastic Pseudo-Labels [50.54050677867914]
  両レベル最適化の観点から,疑似ラベルの影響を動的に調整する不確実性認識型擬似ラベル化フレームワークを提案する。 我々は、様々なベンチマークSSRデータセットにまたがって、我々のアプローチを検証するための理論的洞察と広範な実験を提供する。
  論文  参考訳（メタデータ） (2025-10-17T03:06:23Z)
• Semantic F1 Scores: Fair Evaluation Under Fuzzy Class Boundaries [65.89202599399252]
  本稿では,主観的,ファジィなマルチラベル分類のための新しい評価指標であるセマンティックF1スコアを提案する。 セマンティックF1は意味的に関連があるが、識別できないラベルに部分クレジットを与えることで、人間の不一致やファジィ圏の境界によって特徴付けられる領域の現実をよりよく反映する。
  論文  参考訳（メタデータ） (2025-09-25T21:48:48Z)
• A Benchmark of French ASR Systems Based on Error Severity [6.657432034629865]
  誤りを4つの重大度に分類する新たな評価法を提案する。 この基準は、フランス語で10の最先端のASRシステムのベンチマークに適用される。
  論文  参考訳（メタデータ） (2025-01-18T21:07:18Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)
• A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning [111.05365744744437]
  教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T14:24:52Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。