論文の概要: Improving Clinical Documentation with AI: A Comparative Study of Sporo AI Scribe and GPT-4o mini
- arxiv url: http://arxiv.org/abs/2410.15528v1
- Date: Sun, 20 Oct 2024 22:48:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:12:45.094841
- Title: Improving Clinical Documentation with AI: A Comparative Study of Sporo AI Scribe and GPT-4o mini
- Title(参考訳): AIによる臨床ドキュメンテーションの改善: Sporo AI Scribe と GPT-4o mini の比較検討
- Authors: Chanseo Lee, Sonu Kumar, Kimon A. Vogt, Sam Meraj,
- Abstract要約: Sporo HealthのAI書式はOpenAIのGPT-4o Miniに対して評価された。
結果から,スポロAIはGPT-4o Miniを一貫して上回り,リコール率,精度,F1スコア全体を達成した。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: AI-powered medical scribes have emerged as a promising solution to alleviate the documentation burden in healthcare. Ambient AI scribes provide real-time transcription and automated data entry into Electronic Health Records (EHRs), with the potential to improve efficiency, reduce costs, and enhance scalability. Despite early success, the accuracy of AI scribes remains critical, as errors can lead to significant clinical consequences. Additionally, AI scribes face challenges in handling the complexity and variability of medical language and ensuring the privacy of sensitive patient data. This case study aims to evaluate Sporo Health's AI scribe, a multi-agent system leveraging fine-tuned medical LLMs, by comparing its performance with OpenAI's GPT-4o Mini on multiple performance metrics. Using a dataset of de-identified patient conversation transcripts, AI-generated summaries were compared to clinician-generated notes (the ground truth) based on clinical content recall, precision, and F1 scores. Evaluations were further supplemented by clinician satisfaction assessments using a modified Physician Documentation Quality Instrument revision 9 (PDQI-9), rated by both a medical student and a physician. The results show that Sporo AI consistently outperformed GPT-4o Mini, achieving higher recall, precision, and overall F1 scores. Moreover, the AI generated summaries provided by Sporo were rated more favorably in terms of accuracy, comprehensiveness, and relevance, with fewer hallucinations. These findings demonstrate that Sporo AI Scribe is an effective and reliable tool for clinical documentation, enhancing clinician workflows while maintaining high standards of privacy and security.
- Abstract(参考訳): AIを利用した医療書記は、医療におけるドキュメントの負担を軽減するための、有望なソリューションとして登場した。
Ambient AIはElectronic Health Records(EHR)にリアルタイムの書き起こしと自動データ入力を提供する。
初期の成功にもかかわらず、AI書記の正確さは依然として重要であり、エラーは重大な臨床結果をもたらす可能性がある。
さらに、AIは、医療言語の複雑さと可変性を扱い、センシティブな患者データのプライバシーを確保する上で、課題に直面している。
このケーススタディは、細調整された医療用LLMを活用するマルチエージェントシステムであるSpero HealthのAI scribeを評価することを目的として、OpenAIのGPT-4o Miniとパフォーマンスを比較して、複数のパフォーマンスメトリクスを比較した。
特定されていない患者の会話書き起こしのデータセットを用いて、臨床内容のリコール、精度、F1スコアに基づいて、AIが生成した要約を臨床医が生成したメモ(基礎的真実)と比較した。
さらに,医学生と医師の双方が評価する修正医用文書品質基準修正第9版 (PDQI-9) を用いて臨床満足度評価を行った。
結果から,スポロAIはGPT-4o Miniを一貫して上回り,リコール率,精度,F1スコア全体を達成した。
さらに、スポロが提供したAI生成サマリーは、より正確さ、包括性、関連性においてより好ましい評価を受け、幻覚は少なかった。
これらの結果から,Sporo AI Scribeは臨床ドキュメントの有効かつ信頼性の高いツールであり,プライバシとセキュリティの高水準を維持しつつ,臨床ワークフローの強化を図っている。
関連論文リスト
- Intelligent Clinical Documentation: Harnessing Generative AI for Patient-Centric Clinical Note Generation [0.0]
本稿では,クリニカルドキュメンテーションプロセスの合理化のための生成AI(Artificial Intelligence)の可能性について検討する。
本稿では,自然言語処理 (NLP) と自動音声認識 (ASR) 技術を用いて患者と臨床の相互作用を転写するケーススタディを提案する。
この研究は、時間節約、ドキュメント品質の改善、患者中心のケアの改善など、このアプローチの利点を強調している。
論文 参考訳(メタデータ) (2024-05-28T16:43:41Z) - Enhancing Clinical Efficiency through LLM: Discharge Note Generation for Cardiac Patients [1.379398224469229]
本研究は、特に心臓病患者において、手動で放電ノートを作成する際の非効率性と不正確性について論じる。
本研究は,大規模言語モデル(LLM)の文書化プロセスの向上能力を評価する。
評価された様々なモデルの中で、Mistral-7Bは正確に放電音を発生させることで識別された。
論文 参考訳(メタデータ) (2024-04-08T01:55:28Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - Autocompletion of Chief Complaints in the Electronic Health Records
using Large Language Models [0.3749861135832072]
テキスト生成技術を用いて,CCデータを用いた機械学習モデルを構築する。
我々は, GPT-4のOpenAI APIを利用して, CC文を組み込むことで, プロンプトを調整した。
モデルの性能は、パープレキシティスコア、修正BERTSスコア、コサイン類似度スコアに基づいて評価する。
論文 参考訳(メタデータ) (2024-01-11T18:06:30Z) - README: Bridging Medical Jargon and Lay Understanding for Patient Education through Data-Centric NLP [9.432205523734707]
医療用語を患者に親しみやすい平易な言語に簡略化することを目的とした,レイ定義の自動生成という新たなタスクを導入する。
このデータセットは、5万以上のユニークな(医療用語、日常の定義)ペアと30万の言及からなる。
また、データフィルタリング、拡張、選択を相乗化してデータ品質を改善する、データ中心のHuman-AIパイプラインも開発しました。
論文 参考訳(メタデータ) (2023-12-24T23:01:00Z) - ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for
Benchmarking Automatic Visit Note Generation [4.1331432182859436]
訪問対話からAIによるノート生成の問題に対処する上で,これまでで最大のデータセットを提示する。
また、いくつかの一般的な最先端手法のベンチマーク性能を示す。
論文 参考訳(メタデータ) (2023-06-03T06:42:17Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z) - Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。
様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
論文 参考訳(メタデータ) (2022-05-19T17:34:18Z) - Human Evaluation and Correlation with Automatic Metrics in Consultation
Note Generation [56.25869366777579]
近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。
5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。
単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
論文 参考訳(メタデータ) (2022-04-01T14:04:16Z) - Towards more patient friendly clinical notes through language models and
ontologies [57.51898902864543]
本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。
我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。
本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
論文 参考訳(メタデータ) (2021-12-23T16:11:19Z) - Benchmarking Automated Clinical Language Simplification: Dataset,
Algorithm, and Evaluation [48.87254340298189]
我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。
我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-12-04T06:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。