論文の概要: Clinical BERTScore: An Improved Measure of Automatic Speech Recognition
Performance in Clinical Settings
- arxiv url: http://arxiv.org/abs/2303.05737v2
- Date: Mon, 13 Mar 2023 16:19:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 11:09:25.801219
- Title: Clinical BERTScore: An Improved Measure of Automatic Speech Recognition
Performance in Clinical Settings
- Title(参考訳): clinical bertscore:臨床における自動音声認識性能の向上
- Authors: Joel Shor, Ruyue Agnes Bi, Subhashini Venugopalan, Steven Ibara, Roman
Goldenberg, Ehud Rivlin
- Abstract要約: 臨床的に関連のある誤りを他者よりもペナルティ化する自動音声認識尺度であるクリニカルBERTScore(CBERTScore)を提示する。
CTP(Crisian Transcript Preference benchmark)と呼ばれる,149の現実的な医学的文章に対する13の臨床的嗜好のベンチマークを収集する。
- 参考スコア(独自算出の注目度): 7.906934286499333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic Speech Recognition (ASR) in medical contexts has the potential to
save time, cut costs, increase report accuracy, and reduce physician burnout.
However, the healthcare industry has been slower to adopt this technology, in
part due to the importance of avoiding medically-relevant transcription
mistakes. In this work, we present the Clinical BERTScore (CBERTScore), an ASR
metric that penalizes clinically-relevant mistakes more than others. We
demonstrate that this metric more closely aligns with clinician preferences on
medical sentences as compared to other metrics (WER, BLUE, METEOR, etc),
sometimes by wide margins. We collect a benchmark of 13 clinician preferences
on 149 realistic medical sentences called the Clinician Transcript Preference
benchmark (CTP), demonstrate that CBERTScore more closely matches what
clinicians prefer, and release the benchmark for the community to further
develop clinically-aware ASR metrics.
- Abstract(参考訳): 医学的文脈における自動音声認識(ASR)は、時間を節約し、コストを削減し、報告精度を高め、医師のバーンアウトを減らす可能性がある。
しかし、医療業界は医療関連転写ミスを避けることの重要性から、この技術の採用が遅れている。
本研究は,臨床関連ミスを他者よりもペナルティ化するASR尺度であるクリニカルBERTScore(CBERTScore)を提示する。
この尺度は、他の指標(WER, BLUE, METEORなど)と比較して、医学的文章に対する臨床的嗜好とより密接に一致していることが示される。
CTP(Crisian Transcript Preference benchmark)と呼ばれる149のリアルな医療文章に対する13の臨床好みのベンチマークを収集し、CBERTScoreが臨床医の好むものとより密に一致していることを示し、臨床を意識したASR指標をさらに発展させるために、コミュニティのためにベンチマークをリリースする。
関連論文リスト
- The Sound of Healthcare: Improving Medical Transcription ASR Accuracy
with Large Language Models [0.0]
大言語モデル(LLM)は、医学転写における音声認識システム(ASR)の精度を高めることができる。
本研究は, 単語誤り率(WER), 医用概念WER(MC-WER)の精度向上, 話者ダイアリゼーション精度の向上に焦点を当てた。
論文 参考訳(メタデータ) (2024-02-12T14:01:12Z) - Autocompletion of Chief Complaints in the Electronic Health Records
using Large Language Models [0.3749861135832072]
テキスト生成技術を用いて,CCデータを用いた機械学習モデルを構築する。
我々は, GPT-4のOpenAI APIを利用して, CC文を組み込むことで, プロンプトを調整した。
モデルの性能は、パープレキシティスコア、修正BERTSスコア、コサイン類似度スコアに基づいて評価する。
論文 参考訳(メタデータ) (2024-01-11T18:06:30Z) - ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for
Benchmarking Automatic Visit Note Generation [4.1331432182859436]
訪問対話からAIによるノート生成の問題に対処する上で,これまでで最大のデータセットを提示する。
また、いくつかの一般的な最先端手法のベンチマーク性能を示す。
論文 参考訳(メタデータ) (2023-06-03T06:42:17Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z) - Retrieve, Reason, and Refine: Generating Accurate and Faithful Patient
Instructions [65.11629300465812]
臨床作業量を削減しつつ,不完全性を回避する客観的な手段を提供する新しい課題を提案する。
Re3Writerは医師の作業パターンを模倣し、医師によって書かれた歴史的なPIから関連する作業経験を最初に取得する。
その後、回収された作業経験を洗練させ、医療知識を推論して有用な情報を抽出する。
論文 参考訳(メタデータ) (2022-10-23T16:34:39Z) - Cross-Lingual Knowledge Transfer for Clinical Phenotyping [55.92262310716537]
本稿では,英語を使わないクリニックに対して,このタスクを実行するための言語間知識伝達戦略について検討する。
ギリシャ語とスペイン語のクリニックに対して,異なる臨床領域のクリニカルノートを活用して,これらの戦略を評価する。
以上の結果から,多言語データを用いることで,臨床表現型モデルが改善され,データの疎度を補うことが可能であることが示唆された。
論文 参考訳(メタデータ) (2022-08-03T08:33:21Z) - Clinical Dialogue Transcription Error Correction using Seq2Seq Models [1.663938381339885]
臨床対話におけるASR転写誤り訂正のためのSeq2seq学習手法を提案する。
我々は、将来の研究のために公開してきたドメイン固有のデータセットを使用して、マスク満載タスクにSeq2seqモデルを微調整する。
論文 参考訳(メタデータ) (2022-05-26T18:27:17Z) - Human Evaluation and Correlation with Automatic Metrics in Consultation
Note Generation [56.25869366777579]
近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。
5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。
単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
論文 参考訳(メタデータ) (2022-04-01T14:04:16Z) - Classifying Cyber-Risky Clinical Notes by Employing Natural Language
Processing [9.77063694539068]
近年、アメリカ合衆国内の一部の州では、患者が臨床ノートに自由にアクセスできるように求めている。
本研究は,臨床ノートにおけるセキュリティ・プライバシリスクの特定方法について検討する。
論文 参考訳(メタデータ) (2022-03-24T00:36:59Z) - Towards more patient friendly clinical notes through language models and
ontologies [57.51898902864543]
本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。
我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。
本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
論文 参考訳(メタデータ) (2021-12-23T16:11:19Z) - Benchmarking Automated Clinical Language Simplification: Dataset,
Algorithm, and Evaluation [48.87254340298189]
我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。
我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-12-04T06:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。