論文の概要: Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation

• arxiv url: http://arxiv.org/abs/2204.00447v1
• Date: Fri, 1 Apr 2022 14:04:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 14:48:23.647380
• Title: Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation
• Title（参考訳）: コンサルテーションノート作成における人的評価と自動メトリクスとの相関
• Authors: Francesco Moramarco, Alex Papadopoulos Korfiatis, Mark Perera, Damir Juric, Jack Flann, Ehud Reiter, Anya Belz, Aleksandar Savkov
• Abstract要約: 近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。 5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。 単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
• 参考スコア（独自算出の注目度）: 56.25869366777579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, machine learning models have rapidly become better at generating clinical consultation notes; yet, there is little work on how to properly evaluate the generated consultation notes to understand the impact they may have on both the clinician using them and the patient's clinical safety. To address this we present an extensive human evaluation study of consultation notes where 5 clinicians (i) listen to 57 mock consultations, (ii) write their own notes, (iii) post-edit a number of automatically generated notes, and (iv) extract all the errors, both quantitative and qualitative. We then carry out a correlation study with 18 automatic quality metrics and the human judgements. We find that a simple, character-based Levenshtein distance metric performs on par if not better than common model-based metrics like BertScore. All our findings and annotations are open-sourced.
• Abstract（参考訳）: 近年,機械学習モデルが臨床コンサルテーションノートの作成において急速に改善しつつあるが,臨床医と患者の臨床安全性に与える影響を理解するために,生成されたコンサルテーションノートを適切に評価する方法は少ない。 これを解決するために,5人の臨床医が診察ノートを幅広く評価する。 (i)57回模式相談を聴く。 (二)自筆自筆 (iii)自動生成音符の編集後、及び (iv) 量的および定性的両方の誤りを抽出する。 次に,18の自動品質指標と人間の判断との相関研究を行った。 単純でキャラクタベースのlevenshtein距離メトリックは、bertscoreのような一般的なモデルベースのメトリクスと同等に機能する。 すべての発見とアノテーションはオープンソースです。

関連論文リスト

• Improving Clinical Note Generation from Complex Doctor-Patient Conversation [20.2157016701399]
  大言語モデル(LLM)を用いた臨床ノート作成分野への3つの重要な貢献について述べる。 まず、CliniKnoteを紹介します。CliniKnoteは、1200の複雑な医師と患者との会話と、その全臨床ノートを組み合わせたデータセットです。 第2に,従来のSOAPcitepodder20soap(Subjective, Objective, Assessment, Plan)のメモを上位にキーワードセクションを追加することで,必須情報の迅速な識別を可能にするK-SOAPを提案する。 第3に、医師と患者との会話からK-SOAPノートを生成する自動パイプラインを開発し、様々な近代LCMをベンチマークする。
  論文  参考訳（メタデータ） (2024-08-26T18:39:31Z)
• Impact of Large Language Model Assistance on Patients Reading Clinical Notes: A Mixed-Methods Study [46.5728291706842]
  臨床記録をより読みやすくするために,大言語モデル(LLM)を用いた患者対応ツールを開発した。 乳がんの既往歴のある患者から寄贈された臨床記録と臨床医からの合成ノートを用いて,本ツールの試験を行った。
  論文  参考訳（メタデータ） (2024-01-17T23:14:52Z)
• An Investigation of Evaluation Metrics for Automated Medical Note Generation [5.094623170336122]
  医療談話から臨床メモの自動生成のための評価方法と指標について検討した。 自動計測値と手動判定値の相関性を検討するために,システムと参照事実を比較して,自動メモ・要約の評価を行った。
  論文  参考訳（メタデータ） (2023-05-27T04:34:58Z)
• Revisiting Automatic Question Summarization Evaluation in the Biomedical Domain [45.78632945525459]
  我々は,生物医学的質問要約タスクの4つの側面から,要約品質の人間による評価を行う。 人間の判断に基づいて、現在の自動メトリクスと要約システムで注目すべき特徴を識別する。
  論文  参考訳（メタデータ） (2023-03-18T04:28:01Z)
• Consultation Checklists: Standardising the Human Evaluation of Medical Note Generation [58.54483567073125]
  本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。 このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
  論文  参考訳（メタデータ） (2022-11-17T10:54:28Z)
• User-Driven Research of Medical Note Generation Software [49.85146209418244]
  本稿では,医療用ノート生成システム開発における3ラウンドのユーザスタディについて述べる。 参加する臨床医の印象と,システムがどのようにそれらに価値あるものに適合すべきかの視点について論じる。 遠隔医療における3週間のシステムテストについて述べる。
  論文  参考訳（メタデータ） (2022-05-05T10:18:06Z)
• Towards more patient friendly clinical notes through language models and ontologies [57.51898902864543]
  本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。 我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。 本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
  論文  参考訳（メタデータ） (2021-12-23T16:11:19Z)
• A preliminary study on evaluating Consultation Notes with Post-Editing [67.30200768442926]
  医師が作成後にメモを編集して提出する半自動的なアプローチを提案します。 編集後,自動生成したコンサルテーションノートの時間節約に関する予備研究を行う。 これを時間をかけて、スクラッチからメモを書くより速いことに気付きます。
  論文  参考訳（メタデータ） (2021-04-09T14:42:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。