論文の概要: Improving Clinical Documentation with AI: A Comparative Study of Sporo AI Scribe and GPT-4o mini

• arxiv url: http://arxiv.org/abs/2410.15528v1
• Date: Sun, 20 Oct 2024 22:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:12:45.094841
• Title: Improving Clinical Documentation with AI: A Comparative Study of Sporo AI Scribe and GPT-4o mini
• Title（参考訳）: AIによる臨床ドキュメンテーションの改善: Sporo AI Scribe と GPT-4o mini の比較検討
• Authors: Chanseo Lee, Sonu Kumar, Kimon A. Vogt, Sam Meraj,
• Abstract要約: Sporo HealthのAI書式はOpenAIのGPT-4o Miniに対して評価された。 結果から,スポロAIはGPT-4o Miniを一貫して上回り,リコール率,精度,F1スコア全体を達成した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: AI-powered medical scribes have emerged as a promising solution to alleviate the documentation burden in healthcare. Ambient AI scribes provide real-time transcription and automated data entry into Electronic Health Records (EHRs), with the potential to improve efficiency, reduce costs, and enhance scalability. Despite early success, the accuracy of AI scribes remains critical, as errors can lead to significant clinical consequences. Additionally, AI scribes face challenges in handling the complexity and variability of medical language and ensuring the privacy of sensitive patient data. This case study aims to evaluate Sporo Health's AI scribe, a multi-agent system leveraging fine-tuned medical LLMs, by comparing its performance with OpenAI's GPT-4o Mini on multiple performance metrics. Using a dataset of de-identified patient conversation transcripts, AI-generated summaries were compared to clinician-generated notes (the ground truth) based on clinical content recall, precision, and F1 scores. Evaluations were further supplemented by clinician satisfaction assessments using a modified Physician Documentation Quality Instrument revision 9 (PDQI-9), rated by both a medical student and a physician. The results show that Sporo AI consistently outperformed GPT-4o Mini, achieving higher recall, precision, and overall F1 scores. Moreover, the AI generated summaries provided by Sporo were rated more favorably in terms of accuracy, comprehensiveness, and relevance, with fewer hallucinations. These findings demonstrate that Sporo AI Scribe is an effective and reliable tool for clinical documentation, enhancing clinician workflows while maintaining high standards of privacy and security.
• Abstract（参考訳）: AIを利用した医療書記は、医療におけるドキュメントの負担を軽減するための、有望なソリューションとして登場した。 Ambient AIはElectronic Health Records(EHR)にリアルタイムの書き起こしと自動データ入力を提供する。 初期の成功にもかかわらず、AI書記の正確さは依然として重要であり、エラーは重大な臨床結果をもたらす可能性がある。 さらに、AIは、医療言語の複雑さと可変性を扱い、センシティブな患者データのプライバシーを確保する上で、課題に直面している。 このケーススタディは、細調整された医療用LLMを活用するマルチエージェントシステムであるSpero HealthのAI scribeを評価することを目的として、OpenAIのGPT-4o Miniとパフォーマンスを比較して、複数のパフォーマンスメトリクスを比較した。 特定されていない患者の会話書き起こしのデータセットを用いて、臨床内容のリコール、精度、F1スコアに基づいて、AIが生成した要約を臨床医が生成したメモ(基礎的真実)と比較した。 さらに,医学生と医師の双方が評価する修正医用文書品質基準修正第9版 (PDQI-9) を用いて臨床満足度評価を行った。 結果から,スポロAIはGPT-4o Miniを一貫して上回り,リコール率,精度,F1スコア全体を達成した。 さらに、スポロが提供したAI生成サマリーは、より正確さ、包括性、関連性においてより好ましい評価を受け、幻覚は少なかった。 これらの結果から,Sporo AI Scribeは臨床ドキュメントの有効かつ信頼性の高いツールであり,プライバシとセキュリティの高水準を維持しつつ,臨床ワークフローの強化を図っている。

関連論文リスト

• A GEN AI Framework for Medical Note Generation [3.7444770630637167]
  MediNotesは、医療会話からSOAP(Subjective, Objective, Assessment, Plan)ノートの作成を自動化するために設計された高度な生成AIフレームワークである。 MediNotesはLarge Language Models (LLM)、Retrieval-Augmented Generation (RAG)、Automatic Speech Recognition (ASR)を統合し、テキスト入力と音声入力の両方をリアルタイムで、記録されたオーディオからキャプチャし、処理する。
  論文  参考訳（メタデータ） (2024-09-27T23:05:02Z)
• AI in radiological imaging of soft-tissue and bone tumours: a systematic review evaluating against CLAIM and FUTURE-AI guidelines [1.5332408886895255]
  軟部腫瘍と骨腫瘍 (STBT) は稀で, 診断に難渋する病変であり, 様々な臨床症状と治療のアプローチがある。 本稿では,これらの腫瘍の診断と予後のための放射線画像を用いた人工知能(AI)法の概要について概説する。
  論文  参考訳（メタデータ） (2024-08-22T15:31:48Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Intelligent Clinical Documentation: Harnessing Generative AI for Patient-Centric Clinical Note Generation [0.0]
  本稿では,クリニカルドキュメンテーションプロセスの合理化のための生成AI(Artificial Intelligence)の可能性について検討する。 本稿では,自然言語処理 (NLP) と自動音声認識 (ASR) 技術を用いて患者と臨床の相互作用を転写するケーススタディを提案する。 この研究は、時間節約、ドキュメント品質の改善、患者中心のケアの改善など、このアプローチの利点を強調している。
  論文  参考訳（メタデータ） (2024-05-28T16:43:41Z)
• Enhancing Clinical Efficiency through LLM: Discharge Note Generation for Cardiac Patients [1.379398224469229]
  本研究は、特に心臓病患者において、手動で放電ノートを作成する際の非効率性と不正確性について論じる。 本研究は,大規模言語モデル(LLM)の文書化プロセスの向上能力を評価する。 評価された様々なモデルの中で、Mistral-7Bは正確に放電音を発生させることで識別された。
  論文  参考訳（メタデータ） (2024-04-08T01:55:28Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for Benchmarking Automatic Visit Note Generation [4.1331432182859436]
  訪問対話からAIによるノート生成の問題に対処する上で,これまでで最大のデータセットを提示する。 また、いくつかの一般的な最先端手法のベンチマーク性能を示す。
  論文  参考訳（メタデータ） (2023-06-03T06:42:17Z)
• SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization [50.01382938451978]
  本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。 実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-23T04:47:46Z)
• Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
  医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。 様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
  論文  参考訳（メタデータ） (2022-05-19T17:34:18Z)
• Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation [56.25869366777579]
  近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。 5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。 単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
  論文  参考訳（メタデータ） (2022-04-01T14:04:16Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。