論文の概要: Development and Testing of a Novel Large Language Model-Based Clinical
Decision Support Systems for Medication Safety in 12 Clinical Specialties
- arxiv url: http://arxiv.org/abs/2402.01741v2
- Date: Sat, 17 Feb 2024 21:13:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 03:09:16.190371
- Title: Development and Testing of a Novel Large Language Model-Based Clinical
Decision Support Systems for Medication Safety in 12 Clinical Specialties
- Title(参考訳): 新規大規模言語モデルに基づく医薬品安全のための臨床判断支援システムの開発と試験
- Authors: Jasmine Chiat Ling Ong, Liyuan Jin, Kabilan Elangovan, Gilbert Yong
San Lim, Daniel Yan Zheng Lim, Gerald Gui Ren Sng, Yuhe Ke, Joshua Yi Min
Tung, Ryan Jian Zhong, Christopher Ming Yao Koh, Keane Zhi Hao Lee, Xiang
Chen, Jack Kian Chng, Aung Than, Ken Junyang Goh, Daniel Shu Wei Ting
- Abstract要約: 本稿では, 安全な薬剤処方をサポートするために, 臨床診断支援システム (CDSS) として, 新規な検索言語モデル (LLM) フレームワークを導入する。
本研究は、12の異なる医療・外科専門分野の23の臨床ヴィグネットに61のプリスクリプティングエラーシナリオを組み込んだ。
- 参考スコア(独自算出の注目度): 3.963266190903893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Importance: We introduce a novel Retrieval Augmented Generation (RAG)-Large
Language Model (LLM) framework as a Clinical Decision Support Systems (CDSS) to
support safe medication prescription.
Objective: To evaluate the efficacy of LLM-based CDSS in correctly
identifying medication errors in different patient case vignettes from diverse
medical and surgical sub-disciplines, against a human expert panel derived
ground truth. We compared performance for under 2 different CDSS practical
healthcare integration modalities: LLM-based CDSS alone (fully autonomous mode)
vs junior pharmacist + LLM-based CDSS (co-pilot, assistive mode).
Design, Setting, and Participants: Utilizing a RAG model with
state-of-the-art medically-related LLMs (GPT-4, Gemini Pro 1.0 and Med-PaLM 2),
this study used 61 prescribing error scenarios embedded into 23 complex
clinical vignettes across 12 different medical and surgical specialties. A
multidisciplinary expert panel assessed these cases for Drug-Related Problems
(DRPs) using the PCNE classification and graded severity / potential for harm
using revised NCC MERP medication error index. We compared.
Results RAG-LLM performed better compared to LLM alone. When employed in a
co-pilot mode, accuracy, recall, and F1 scores were optimized, indicating
effectiveness in identifying moderate to severe DRPs. The accuracy of DRP
detection with RAG-LLM improved in several categories but at the expense of
lower precision.
Conclusions This study established that a RAG-LLM based CDSS significantly
boosts the accuracy of medication error identification when used alongside
junior pharmacists (co-pilot), with notable improvements in detecting severe
DRPs. This study also illuminates the comparative performance of current
state-of-the-art LLMs in RAG-based CDSS systems.
- Abstract(参考訳): 重要性: 安全な医薬品処方をサポートするために, 臨床決定支援システム (CDSS) として, 新規な検索言語モデル (LLM) フレームワークを導入する。
目的: LLMをベースとしたCDSSの有効性を評価するため, 臨床・外科領域の多種多様な患者用ヴィグネットの薬物的誤りを, 人手による根本真理の導出に対して正しく同定する。
LLMをベースとしたCDSS単独(完全自律型)とジュニア薬剤師+LCMをベースとしたCDSS(コパイロット,補助型)を比較した。
デザイン, 設定, 参加者: 最先端の医療関連LSM (GPT-4, Gemini Pro 1.0, Med-PaLM 2) を用いたRAGモデルを用いて, 12種類の医療・外科専門分野の23の複合臨床用ヴィグネットに61のシナリオを組み込んだ。
PCNE分類による薬物関連問題 (DRPs) と, NCC MERP の薬剤エラー指標を用いた重症度/潜在的な評価を行った。
比較した。
RAG-LLM は LLM 単独よりも優れていた。
コパイロットモードを採用すると、精度、リコール、F1スコアが最適化され、中等度から重度のDRPを識別する効果が示された。
RAG-LLMによるDRP検出の精度はいくつかのカテゴリーで向上したが、精度は低下した。
結論】RAG-LLMをベースとしたCDSSは中等薬理士(co-pilot)と併用した場合の薬物誤認の精度を著しく向上させ,重度のDRPの検出において顕著な改善が認められた。
また, RAGを用いたCDSSシステムにおいて, 現状LLMの性能比較を行った。
関連論文リスト
- Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches [7.3384872719063114]
我々は,Llama-2アーキテクチャに基づく医療用大規模言語モデル(LLM)を開発し,改良した。
本実験は,様々な医用ベンチマークを用いて,これらのチューニング戦略の有効性を体系的に評価した。
論文 参考訳(メタデータ) (2024-04-23T06:36:21Z) - AI Hospital: Interactive Evaluation and Collaboration of LLMs as Intern
Doctors for Clinical Diagnosis [72.50974375416239]
リアルタイムのインタラクティブな診断環境を構築するために設計されたフレームワークであるAI Hospitalを紹介する。
様々な大規模言語モデル(LLM)は、対話的診断のためのインターン医師として機能する。
我々は,医療部長の監督の下で,反復的な議論と紛争解決プロセスを含む協調的なメカニズムを導入する。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - Combining Insights From Multiple Large Language Models Improves
Diagnostic Accuracy [0.0]
大きな言語モデル (LLM) は診断支援ツールとして提案されるか、あるいは "curbside consults" の代替として言及される。
個別の商業用LDMを問うことで得られた差分診断の精度を,同一LCMの組み合わせからの応答を集約して合成した差分診断の精度と比較した。
論文 参考訳(メタデータ) (2024-02-13T21:24:21Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - LMM-Assisted Breast Cancer Treatment Target Segmentation with Consistency Embedding [49.40059830266193]
放射線腫瘍学の分野に適した多目的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。
本モデルでは, 臨床ワークフローにおける一連のタスク, 臨床報告要約, 放射線治療計画提案, 計画指導対象ボリュームセグメンテーションを網羅する。
また, クリーン入力の処理能力を保ちながら, LMMの頑健さをノイズ入力に高める, CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
論文 参考訳(メタデータ) (2023-11-27T14:49:06Z) - Surpassing GPT-4 Medical Coding with a Two-Stage Approach [1.7014913888753238]
GPT-4 LLMは、医療コーディングタスクのICD符号の過剰な数を予測する。
LLM-codexは,まずエビデンス提案を発生させ,LSTMに基づく検証段階を用いる2段階のICD符号予測手法である。
我々のモデルは、医学的コーディングの精度、稀な符号の精度、文章レベルの証拠の特定を同時に達成する唯一の方法である。
論文 参考訳(メタデータ) (2023-11-22T23:35:13Z) - Auditing Algorithmic Fairness in Machine Learning for Health with
Severity-Based LOGAN [70.76142503046782]
臨床予測タスクにおいて,局所バイアスを自動検出するSLOGANを用いて,機械学習ベースの医療ツールを補足することを提案する。
LOGANは、患者の重症度と過去の医療史における集団バイアス検出を文脈化することにより、既存のツールであるLOcal Group biAs detectioNに適応する。
SLOGANは, クラスタリング品質を維持しながら, 患者群の75%以上において, SLOGANよりも高い公平性を示す。
論文 参考訳(メタデータ) (2022-11-16T08:04:12Z) - Patch-level instance-group discrimination with pretext-invariant
learning for colitis scoring [2.691339855008848]
自己教師型学習(SSL)のためのプリテキスト不変表現学習(PLD-PIRL)を用いたパッチレベルの新しいインスタンスグループ識別手法を提案する。
本実験では,ベースライン教師付きネットワークや最先端SSL方式と比較して,精度とロバスト性の向上を実証した。
論文 参考訳(メタデータ) (2022-07-11T21:06:29Z) - Outlier-based Autism Detection using Longitudinal Structural MRI [6.311381904410801]
本稿では, 構造的磁気共鳴画像(sMRI)に基づく自閉症スペクトラム障害の診断を, 異常検出手法を用いて提案する。
GAN(Generative Adversarial Network)は、健康な被験者のsMRIスキャンでのみ訓練される。
実験の結果、ASD検出フレームワークは最先端のトレーニングデータと互換性があり、トレーニングデータもはるかに少ないことがわかった。
論文 参考訳(メタデータ) (2022-02-21T04:37:25Z) - Automatic Assessment of Alzheimer's Disease Diagnosis Based on Deep
Learning Techniques [111.165389441988]
本研究では, MRI(sagittal magnetic resonance images)における疾患の存在を自動的に検出するシステムを開発する。
矢状面MRIは一般的には使われていないが、この研究は、少なくとも、ADを早期に同定する他の平面からのMRIと同じくらい効果があることを証明した。
本研究は,これらの分野でDLモデルを構築できることを実証する一方,TLは少ない例でタスクを完了するための必須のツールである。
論文 参考訳(メタデータ) (2021-05-18T11:37:57Z) - Performance of Dual-Augmented Lagrangian Method and Common Spatial
Patterns applied in classification of Motor-Imagery BCI [68.8204255655161]
運動画像に基づく脳-コンピュータインタフェース(MI-BCI)は、神経リハビリテーションのための画期的な技術になる可能性がある。
使用する脳波信号のノイズの性質のため、信頼性の高いBCIシステムは特徴の最適化と抽出のために特別な手順を必要とする。
論文 参考訳(メタデータ) (2020-10-13T20:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。