論文の概要: MedWER: A Reproducible, Model-Free Evaluation Protocol for Medical Speech Recognition

• arxiv url: http://arxiv.org/abs/2609.05728v1
• Date: Fri, 04 Sep 2026 21:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 12:49:36.970994
• Title: MedWER: A Reproducible, Model-Free Evaluation Protocol for Medical Speech Recognition
• Title（参考訳）: MedWER:医療音声認識のための再現可能なモデルフリー評価プロトコル
• Abstract要約: 医療用AIRの評価プロトコルMedWERとオープンソースツールMedWERについて述べる。 このプロトコルは、ピン付きテキスト正規化器と、フレーズ対応の項制限付きWER、MedWERを結合する。 カバーは、リストから作成されていない独立した州の薬物利得ファイルに対して検証される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overall word error rate hides clinically critical errors: a transcript can be 95% correct and still swap one drug for another. The usual fix weights errors on medical entities, and almost always depends on an evaluation-time named-entity recognition (NER) model or cloud API, which makes the metric's denominator a versioned black box. We present MedWER, an evaluation protocol and open-source tool for medical ASR whose denominator is a fixed, license-clean term list: 19,373 drug, diagnosis, symptom, and injury-mechanism entries projected from public sources. The protocol couples a pinned text normalizer with a phrase-aware term-restricted WER, the MedWER, so the only versioned component is a normalizer dependency held at an exact release and checked against committed golden fixtures. Coverage is validated against an independent provincial drug-benefit file the list was not built from; the matching heuristic is calibrated against ground-truth entity spans. Baselines for Moonshine~base, Whisper~base.en, and MedASR on two open benchmarks are scored with the released tool and reported with 95% confidence intervals from resampled per-utterance scores.
• Abstract（参考訳）: 全体的な単語誤り率は臨床的に致命的な誤りを隠蔽する。 通常の修正は、医療機関のエラーを重み付け、ほとんどの場合、評価時の名前付きエンティティ認識(NER)モデルまたはクラウドAPIに依存します。 医用ASRの評価プロトコルおよびオープンソースツールであるMedWERについて述べる。 このプロトコルは、ピン付きテキスト正規化器と、フレーズ対応の項制限付きWER、MedWERを結合するので、唯一のバージョンコンポーネントは、正確なリリース時に保持され、コミットされたゴールデンフィクスチャに対してチェックされる正規化器依存性である。 カバーは、リストが作成されていない独立した州の薬物利得ファイルに対して検証され、一致するヒューリスティックは、地道的な実体に対して校正される。 Moonshine~base, Whisper~base.en, MedASRの2つのオープンベンチマークのベースラインは、リリースされたツールでスコアされ、再サンプリングされた発話毎のスコアから95%の信頼区間で報告される。

関連論文リスト

• MedSNIP: Building and Benchmarking Snippet-Level Granularity for Medical Fact Verification [50.13873960887466]
  我々はスニペットレベルの医療事実検証のベンチマークであるMedSNIP-Benchを紹介する。 また,自動スニペット生成パイプラインであるMedSNIPを導入する。 MedSNIP-Bench、HealthFC、MedHallu全体で、スニペットレベルの検証は偽クラスF1を保存または改善する。
  論文  参考訳（メタデータ） (2026-09-11T14:08:44Z)
• MedGuards: Multi-Agent System for Reliable Medical Error Detection and Correction [7.8939854491604455]
  MedGuardsは、医療エラーの検出と修正をマルチエージェントのインコンテキスト学習タスクとして扱う新しいフレームワークである。 特別エージェントは別々にエラーを検出し、ローカライズし、修正する一方、信頼誘導仲裁機構は不一致を解消する。 我々の目標は、現実世界の医療アプリケーションにおいて、より安全な大規模言語モデルのデプロイを可能にすることです。
  論文  参考訳（メタデータ） (2026-06-24T10:07:59Z)
• CARE: A Conformal Safety Layer for Medical Summarization [24.00849890172944]
  大きな言語モデル(LLM)は、医学的な要約にますます使われている。 既存のエラー検出手法ではスコアが生成または未校正され、エラーを正しく制御することができない。 リスク評価のためのコンフォーマルアセスメント(CARE, Conformal Assessment for Risk Evaluation)を導入する。
  論文  参考訳（メタデータ） (2026-06-08T03:10:45Z)
• SCRIBE: Diagnostic Evaluation and Rich Transcription Models for Indic ASR [0.37331950863394864]
  SCRIBEは,語彙,句読点,数値,ドメインの集中度を分類的に分解する診断フレームワークである。 LLMキュレーションパイプラインであるSCRIBE、ベンチマーク、ヒンディー語、マラヤラム語、カナダ語のためのオープンウェイトリッチな転写モデルをリリースする。
  論文  参考訳（メタデータ） (2026-05-20T05:09:01Z)
• MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events [0.7685926099671206]
  医療などの高度な領域における機械学習は、強力な予測性能と信頼性のある不確実性定量化を必要とする。 医療機器の異常事象報告から得られたMLTCベンチマークであるMADEを紹介する。 エントロピー/一貫性に基づく自己言語UQ手法を体系的に評価する。
  論文  参考訳（メタデータ） (2026-04-16T16:28:16Z)
• Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
  条件付きカバレッジ推定が分類問題であることを示す。 得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。 ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
  論文  参考訳（メタデータ） (2025-12-12T18:47:39Z)
• MedREK: Retrieval-Based Editing for Medical LLMs with Key-Aware Prompts [70.64143198545031]
  本稿では,情報誘導のための注目型プロンプトエンコーダと正確なマッチングのための共有クエリキーモジュールを統合した検索ベースの編集フレームワークであるMedREKを提案する。 各種医用ベンチマークの結果から,MedREKは異なるコアメトリクス間で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-15T12:50:33Z)
• MedScore: Generalizable Factuality Evaluation of Free-Form Medical Answers by Domain-adapted Claim Decomposition and Verification [51.82420076479152]
  MedScoreは、医学的回答を条件対応の有効な事実に分解し、ドメイン内コーパスに対する検証を行うための新しいパイプラインである。 提案手法は,既存の方法に比べて最大3倍有効な事実を抽出し,幻覚や曖昧な参照を低減し,事実の条件依存性を維持する。
  論文  参考訳（メタデータ） (2025-05-24T01:23:09Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• Text Mining to Identify and Extract Novel Disease Treatments From Unstructured Datasets [56.38623317907416]
  Google Cloudを使って、NPRラジオ番組のポッドキャストのエピソードを書き起こします。 次に、テキストを体系的に前処理するためのパイプラインを構築します。 我々のモデルは、Omeprazoleが心臓熱傷の治療に役立てることに成功しました。
  論文  参考訳（メタデータ） (2020-10-22T19:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。