論文の概要: Generative AI Is Not Ready for Clinical Use in Patient Education for Lower Back Pain Patients, Even With Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2409.15260v1
- Date: Mon, 23 Sep 2024 17:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 13:43:14.935153
- Title: Generative AI Is Not Ready for Clinical Use in Patient Education for Lower Back Pain Patients, Even With Retrieval-Augmented Generation
- Title(参考訳): 腰痛患者の臨床教育におけるジェネレーティブAIの対応
- Authors: Yi-Fei Zhao, Allyn Bove, David Thompson, James Hill, Yi Xu, Yufan Ren, Andrea Hassman, Leming Zhou, Yanshan Wang,
- Abstract要約: 腰痛 (LBP) は世界の障害の主要な原因である。
患者教育戦略の進歩にもかかわらず、LCP患者にパーソナライズされたエビデンスベースの情報を提供することで、大きなギャップが持続する。
大規模言語モデル(LLM)と生成人工知能(GenAI)の最近の進歩は、患者教育を強化する可能性を示している。
- 参考スコア(独自算出の注目度): 11.063824496698949
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low back pain (LBP) is a leading cause of disability globally. Following the onset of LBP and subsequent treatment, adequate patient education is crucial for improving functionality and long-term outcomes. Despite advancements in patient education strategies, significant gaps persist in delivering personalized, evidence-based information to patients with LBP. Recent advancements in large language models (LLMs) and generative artificial intelligence (GenAI) have demonstrated the potential to enhance patient education. However, their application and efficacy in delivering educational content to patients with LBP remain underexplored and warrant further investigation. In this study, we introduce a novel approach utilizing LLMs with Retrieval-Augmented Generation (RAG) and few-shot learning to generate tailored educational materials for patients with LBP. Physical therapists manually evaluated our model responses for redundancy, accuracy, and completeness using a Likert scale. In addition, the readability of the generated education materials is assessed using the Flesch Reading Ease score. The findings demonstrate that RAG-based LLMs outperform traditional LLMs, providing more accurate, complete, and readable patient education materials with less redundancy. Having said that, our analysis reveals that the generated materials are not yet ready for use in clinical practice. This study underscores the potential of AI-driven models utilizing RAG to improve patient education for LBP; however, significant challenges remain in ensuring the clinical relevance and granularity of content generated by these models.
- Abstract(参考訳): 腰痛 (LBP) は世界の障害の主要な原因である。
LBPとその後の治療の開始後,機能向上と長期的成果のために適切な患者教育が不可欠である。
患者教育戦略の進歩にもかかわらず、LCP患者にパーソナライズされたエビデンスベースの情報を提供することで、大きなギャップが持続する。
大規模言語モデル(LLM)と生成人工知能(GenAI)の最近の進歩は、患者教育を強化する可能性を示している。
しかし、LBP患者に教育コンテンツを提供するための応用と有効性は未調査であり、さらなる調査を保証している。
本研究では,LBP患者に適応した教材を作成するために,RAG(Retrieval-Augmented Generation)と数ショット学習を併用したLLMを用いた新しいアプローチを提案する。
理学療法士は、我々のモデル応答の冗長性、正確性、完全性をLikert尺度を用いて手動で評価した。
また、Flesch Reading Easeスコアを用いて、生成された教材の可読性を評価する。
以上の結果から,RAGをベースとしたLLMは従来のLLMよりも優れており,より正確で,完全で,読みやすい患者教育用教材の冗長性が低いことが示唆された。
いずれにせよ,本研究では, 生成物質が臨床現場での使用準備が整っていないことを明らかにした。
本研究は、RAGを用いた患者教育改善のためのAI駆動型モデルの可能性を明らかにするものであるが、これらのモデルが生成したコンテンツの臨床的妥当性と粒度の確保には大きな課題が残っている。
関連論文リスト
- Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。
MIMIC-IIIでは最大10.8~15.0%、MIMIC-IVでは12.6~12.7%である。
論文 参考訳(メタデータ) (2024-10-06T18:46:28Z) - IntelliCare: Improving Healthcare Analysis with Variance-Controlled Patient-Level Knowledge from Large Language Models [14.709233593021281]
LLM(Large Language Models)からの外部知識の統合は、医療予測を改善するための有望な道を示す。
我々は,LLMを活用して高品質な患者レベルの外部知識を提供する新しいフレームワークであるIntelliCareを提案する。
IntelliCareは患者のコホートを特定し、LCMの理解と生成を促進するためにタスク関連統計情報を利用する。
論文 参考訳(メタデータ) (2024-08-23T13:56:00Z) - LLMs-based Few-Shot Disease Predictions using EHR: A Novel Approach Combining Predictive Agent Reasoning and Critical Agent Instruction [38.11497959553319]
本研究では,構造化患者訪問データを自然言語物語に変換するための大規模言語モデルの適用可能性について検討する。
様々なERH予測指向のプロンプト戦略を用いて,LLMのゼロショット性能と少数ショット性能を評価した。
提案手法を用いることで,従来のERHによる疾患予測の教師付き学習法と比較して,LLMの精度は極めて低いことが示唆された。
論文 参考訳(メタデータ) (2024-03-19T18:10:13Z) - Enhancing Readmission Prediction with Deep Learning: Extracting Biomedical Concepts from Clinical Texts [0.26813152817733554]
本研究は,30日以内の患者の寛解をテキストマイニング技術を用いて予測することに焦点を当てた。
この目的のために分類モデルを開発するために,様々な機械学習および深層学習手法が用いられた。
論文 参考訳(メタデータ) (2024-03-12T09:03:44Z) - Natural Language Programming in Medicine: Administering Evidence Based Clinical Workflows with Autonomous Agents Powered by Generative Large Language Models [29.05425041393475]
ジェネレーティブ・大型言語モデル(LLM)は医療において大きな可能性を秘めている。
本研究は, シミュレーション3次医療センターにおいて, 自律型エージェントとして機能するLSMの可能性を評価した。
論文 参考訳(メタデータ) (2024-01-05T15:09:57Z) - TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic
Tree-Based Memory Network [54.332862955411656]
臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。
近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。
本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
論文 参考訳(メタデータ) (2023-07-19T12:35:09Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳(メタデータ) (2023-03-24T03:14:00Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z) - A Literature Review on Length of Stay Prediction for Stroke Patients
using Machine Learning and Statistical Approaches [0.0]
病院滞在時間(LOS)は、病院のサービス品質を反映し、病院のスケジュールと管理を改善するための最も重要な医療指標の1つである。
本研究では,機械学習と統計的アプローチを用いたLOS予測に関する論文をレビューした。
論文 参考訳(メタデータ) (2021-12-30T03:48:41Z) - Predicting Patient Readmission Risk from Medical Text via Knowledge
Graph Enhanced Multiview Graph Convolution [67.72545656557858]
本稿では,電子健康記録の医用テキストを予測に用いる新しい手法を提案する。
外部知識グラフによって強化された多視点グラフを有する患者の退院サマリーを表現している。
実験により,本手法の有効性が証明され,最先端の性能が得られた。
論文 参考訳(メタデータ) (2021-12-19T01:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。