論文の概要: Clinical BERTScore: An Improved Measure of Automatic Speech Recognition Performance in Clinical Settings

• arxiv url: http://arxiv.org/abs/2303.05737v1
• Date: Fri, 10 Mar 2023 06:46:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 15:49:25.749296
• Title: Clinical BERTScore: An Improved Measure of Automatic Speech Recognition Performance in Clinical Settings
• Title（参考訳）: clinical bertscore:臨床における自動音声認識性能の向上
• Authors: Joel Shor, Ruyue Agnes Bi, Subhashini Venugopalan, Steven Ibara, Roman Goldenberg, Ehud Rivlen
• Abstract要約: 臨床的に関連のある誤りを他者よりもペナルティ化する自動音声認識尺度であるクリニカルBERTScore(CBERTScore)を提示する。 CTP(Crisian Transcript Preference benchmark)と呼ばれる,149の現実的な医学的文章に対する13の臨床的嗜好のベンチマークを収集する。
• 参考スコア（独自算出の注目度）: 7.377563306753792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic Speech Recognition (ASR) in medical contexts has the potential to save time, cut costs, increase report accuracy, and reduce physician burnout. However, the healthcare industry has been slower to adopt this technology, in part due to the importance of avoiding medically-relevant transcription mistakes. In this work, we present the Clinical BERTScore (CBERTScore), an ASR metric that penalizes clinically-relevant mistakes more than others. We demonstrate that this metric more closely aligns with clinician preferences on medical sentences as compared to other metrics (WER, BLUE, METEOR, etc), sometimes by wide margins. We collect a benchmark of 13 clinician preferences on 149 realistic medical sentences called the Clinician Transcript Preference benchmark (CTP), demonstrate that CBERTScore more closely matches what clinicians prefer, and release the benchmark for the community to further develop clinically-aware ASR metrics.
• Abstract（参考訳）: 医学的文脈における自動音声認識(ASR)は、時間を節約し、コストを削減し、報告精度を高め、医師のバーンアウトを減らす可能性がある。 しかし、医療業界は医療関連転写ミスを避けることの重要性から、この技術の採用が遅れている。 本研究は,臨床関連ミスを他者よりもペナルティ化するASR尺度であるクリニカルBERTScore(CBERTScore)を提示する。 この尺度は、他の指標(WER, BLUE, METEORなど)と比較して、医学的文章に対する臨床的嗜好とより密接に一致していることが示される。 CTP(Crisian Transcript Preference benchmark)と呼ばれる149のリアルな医療文章に対する13の臨床好みのベンチマークを収集し、CBERTScoreが臨床医の好むものとより密に一致していることを示し、臨床を意識したASR指標をさらに発展させるために、コミュニティのためにベンチマークをリリースする。

関連論文リスト

• Improving Clinical Documentation with AI: A Comparative Study of Sporo AI Scribe and GPT-4o mini [0.0]
  Sporo HealthのAI書式はOpenAIのGPT-4o Miniに対して評価された。 結果から,スポロAIはGPT-4o Miniを一貫して上回り,リコール率,精度,F1スコア全体を達成した。
  論文  参考訳（メタデータ） (2024-10-20T22:48:40Z)
• RaTEScore: A Metric for Radiology Report Generation [59.37561810438641]
  本稿では,Radiological Report (Text) Evaluation (RaTEScore) として,新しい実体認識尺度を提案する。 RaTEScoreは、診断結果や解剖学的詳細などの重要な医療機関を強調し、複雑な医学的同義語に対して堅牢であり、否定表現に敏感である。 我々の評価は、RaTEScoreが既存の指標よりも人間の嗜好とより密接に一致していることを示し、確立された公開ベンチマークと、新たに提案したRaTE-Evalベンチマークの両方で検証した。
  論文  参考訳（メタデータ） (2024-06-24T17:49:28Z)
• Performant ASR Models for Medical Entities in Accented Speech [0.9346027495459037]
  我々は、93のアフリカアクセントの英語臨床データセットを用いて、複数のASRモデルを厳格に評価した。 分析の結果, 単語誤り率 (WER) が低いモデルではあるものの, 臨床的実体の誤差は高く, 患者の安全性に重大なリスクが生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-18T08:19:48Z)
• Aiming for Relevance [12.924312063047816]
  臨床状況に合わせて,新しいバイタルサイン予測性能指標を導入する。 これらの指標は、ICU臨床医へのインタビューを通じて得られた経験的効用曲線から得られたものである。 これらの指標をニューラルネットワークの損失関数として用い,臨床上の重要な事象を予測できるモデルを構築した。
  論文  参考訳（メタデータ） (2024-03-27T15:11:07Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• The Sound of Healthcare: Improving Medical Transcription ASR Accuracy with Large Language Models [0.0]
  大言語モデル(LLM)は、医学転写における音声認識システム(ASR)の精度を高めることができる。 本研究は, 単語誤り率(WER), 医用概念WER(MC-WER)の精度向上, 話者ダイアリゼーション精度の向上に焦点を当てた。
  論文  参考訳（メタデータ） (2024-02-12T14:01:12Z)
• Cross-Lingual Knowledge Transfer for Clinical Phenotyping [55.92262310716537]
  本稿では,英語を使わないクリニックに対して,このタスクを実行するための言語間知識伝達戦略について検討する。 ギリシャ語とスペイン語のクリニックに対して,異なる臨床領域のクリニカルノートを活用して,これらの戦略を評価する。 以上の結果から,多言語データを用いることで,臨床表現型モデルが改善され,データの疎度を補うことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-03T08:33:21Z)
• Clinical Dialogue Transcription Error Correction using Seq2Seq Models [1.663938381339885]
  臨床対話におけるASR転写誤り訂正のためのSeq2seq学習手法を提案する。 我々は、将来の研究のために公開してきたドメイン固有のデータセットを使用して、マスク満載タスクにSeq2seqモデルを微調整する。
  論文  参考訳（メタデータ） (2022-05-26T18:27:17Z)
• Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation [56.25869366777579]
  近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。 5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。 単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
  論文  参考訳（メタデータ） (2022-04-01T14:04:16Z)
• Towards more patient friendly clinical notes through language models and ontologies [57.51898902864543]
  本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。 我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。 本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
  論文  参考訳（メタデータ） (2021-12-23T16:11:19Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。