論文の概要: Comparative Experimentation of Accuracy Metrics in Automated Medical
Reporting: The Case of Otitis Consultations
- arxiv url: http://arxiv.org/abs/2311.13273v2
- Date: Mon, 8 Jan 2024 14:19:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 22:27:08.993305
- Title: Comparative Experimentation of Accuracy Metrics in Automated Medical
Reporting: The Case of Otitis Consultations
- Title(参考訳): 自動医療報告における精度指標の比較実験 : 耳炎相談の場合
- Authors: Wouter Faber, Renske Eline Bootsma, Tom Huibers, Sandra van Dulmen,
Sjaak Brinkkemper
- Abstract要約: 生成人工知能(Generative Artificial Intelligence)は、医療相談書の書き起こしに基づいて、自動的に医療報告を生成するために用いられる。
生成したレポートの正確さは、その正確さと有用性を保証するために確立する必要がある。
AIが生成したレポートの正確性を測定する指標はいくつかあるが、これらの指標を医療報告に適用するための作業はほとんど行われていない。
- 参考スコア(独自算出の注目度): 0.5242869847419834
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Generative Artificial Intelligence (AI) can be used to automatically generate
medical reports based on transcripts of medical consultations. The aim is to
reduce the administrative burden that healthcare professionals face. The
accuracy of the generated reports needs to be established to ensure their
correctness and usefulness. There are several metrics for measuring the
accuracy of AI generated reports, but little work has been done towards the
application of these metrics in medical reporting. A comparative
experimentation of 10 accuracy metrics has been performed on AI generated
medical reports against their corresponding General Practitioner's (GP) medical
reports concerning Otitis consultations. The number of missing, incorrect, and
additional statements of the generated reports have been correlated with the
metric scores. In addition, we introduce and define a Composite Accuracy Score
which produces a single score for comparing the metrics within the field of
automated medical reporting. Findings show that based on the correlation study
and the Composite Accuracy Score, the ROUGE-L and Word Mover's Distance metrics
are the preferred metrics, which is not in line with previous work. These
findings help determine the accuracy of an AI generated medical report, which
aids the development of systems that generate medical reports for GPs to reduce
the administrative burden.
- Abstract(参考訳): 生成人工知能(AI)は、医療相談の書面に基づく医療報告を自動的に生成するために用いられる。
その目的は、医療従事者が直面する管理負担を減らすことだ。
生成したレポートの正確性は、その正確性と有用性を保証するために確立する必要がある。
AIが生成したレポートの正確性を測定する指標はいくつかあるが、これらの指標を医療報告に適用するための作業はほとんど行われていない。
耳炎診察に関する一般診療報告(GP)に対するAI生成医療報告に対して,10の精度指標の比較実験が実施されている。
生成したレポートの欠落、不正、および追加のステートメントの数は、測定値と相関している。
さらに, 自動医療報告の分野における測定値を比較するために, 単一のスコアを生成する複合精度スコアについて紹介し, 定義する。
その結果、相関研究と複合正確度スコアに基づいて、ルージュlとワードムーバーの距離メトリクスが、以前の作業と一致しない指標として好まれることがわかった。
これらの発見は、GPの医療報告を生成するシステムの開発を支援するAI生成された医療レポートの正確性を決定するのに役立つ。
関連論文リスト
- Consensus, dissensus and synergy between clinicians and specialist
foundation models in radiology report generation [32.26270073540666]
世界中の放射線技師の不足は専門家のケアへのアクセスを制限し、重労働を課している。
視覚言語モデルを用いた自動レポート生成の最近の進歩は、状況を改善するための明確な可能性を示唆している。
我々は、胸部X線写真のための最新のレポート生成システム、textitFlamingo-CXRを構築し、放射線学データに基づくよく知られた視覚言語基盤モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-30T05:38:34Z) - Enhancing Summarization Performance through Transformer-Based Prompt
Engineering in Automated Medical Reporting [0.49478969093606673]
2ショットプロンプトアプローチとスコープとドメインコンテキストの組み合わせは、他のメソッドよりも優れています。
自動化されたレポートは、人間の参照の約2倍の長さである。
論文 参考訳(メタデータ) (2023-11-22T09:51:53Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z) - An Investigation of Evaluation Metrics for Automated Medical Note
Generation [5.094623170336122]
医療談話から臨床メモの自動生成のための評価方法と指標について検討した。
自動計測値と手動判定値の相関性を検討するために,システムと参照事実を比較して,自動メモ・要約の評価を行った。
論文 参考訳(メタデータ) (2023-05-27T04:34:58Z) - Retrieve, Reason, and Refine: Generating Accurate and Faithful Patient
Instructions [65.11629300465812]
臨床作業量を削減しつつ,不完全性を回避する客観的な手段を提供する新しい課題を提案する。
Re3Writerは医師の作業パターンを模倣し、医師によって書かれた歴史的なPIから関連する作業経験を最初に取得する。
その後、回収された作業経験を洗練させ、医療知識を推論して有用な情報を抽出する。
論文 参考訳(メタデータ) (2022-10-23T16:34:39Z) - A Self-Guided Framework for Radiology Report Generation [10.573538773141715]
SGF(Self-Guided framework)は、注釈付き疾患ラベルによる医療報告を生成するために開発されたフレームワークである。
SGFは、人間の学習と執筆の過程を模倣するために、教師なしおよび教師なしのディープラーニング手法を使用している。
提案手法は,単語間の細粒度視覚的詳細を識別するためのフレームワークの能力を強調した。
論文 参考訳(メタデータ) (2022-06-19T11:09:27Z) - Human Evaluation and Correlation with Automatic Metrics in Consultation
Note Generation [56.25869366777579]
近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。
5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。
単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
論文 参考訳(メタデータ) (2022-04-01T14:04:16Z) - Supervised Machine Learning Algorithm for Detecting Consistency between
Reported Findings and the Conclusions of Mammography Reports [66.89977257992568]
マンモグラフィーは患者の病態の診断を文書化する。
多くの報告は非標準用語(非BI-RADS記述子)と不完全文を含んでいる。
本研究の目的は,報告された結論と,報告された放射線学の知見に基づいて期待される結果とを比較して,そのような不一致を検出するツールを開発することである。
論文 参考訳(メタデータ) (2022-02-28T08:59:04Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳(メタデータ) (2020-10-24T08:30:20Z) - Chest X-ray Report Generation through Fine-Grained Label Learning [46.352966049776875]
画像から詳細な所見を学習する領域認識自動胸部X線診断レポート生成アルゴリズムを提案する。
また、画像にそのような記述子を割り当てる自動ラベリングアルゴリズムを開発し、発見の粗い記述ときめ細かい記述の両方を認識する新しいディープラーニングネットワークを構築した。
論文 参考訳(メタデータ) (2020-07-27T19:50:56Z) - Labeling of Multilingual Breast MRI Reports [1.8374319565577157]
LAMBRと呼ばれるカスタム言語表現を用いた多言語乳房MRIレポート分類器の開発のためのフレームワークを提案する。
提案手法は,臨床現場で直面する実践的課題を克服し,医療報告からラベルを抽出する際の性能向上を実証する。
論文 参考訳(メタデータ) (2020-07-06T19:22:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。