論文の概要: Accelerating Clinical Evidence Synthesis with Large Language Models
- arxiv url: http://arxiv.org/abs/2406.17755v1
- Date: Tue, 25 Jun 2024 17:41:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 13:21:40.376688
- Title: Accelerating Clinical Evidence Synthesis with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた臨床エビデンス生成の高速化
- Authors: Zifeng Wang, Lang Cao, Benjamin Danek, Yichi Zhang, Qiao Jin, Zhiyong Lu, Jimeng Sun,
- Abstract要約: 医療システムレビューを行うための生成AIベースのパイプラインであるTrialMindを紹介する。
大規模な言語モデル(LLM)を使用してパイプラインの各コンポーネントを駆動し、エラーを最小限に抑えるために人間の専門家の監視を取り入れます。
その結果,TrialMindは文献レビュープロセスを大幅に改善することがわかった。
- 参考スコア(独自算出の注目度): 32.27109309792286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic medical discovery by AI is a dream of many. One step toward that goal is to create an AI model to understand clinical studies and synthesize clinical evidence from the literature. Clinical evidence synthesis currently relies on systematic reviews of clinical trials and retrospective analyses from medical literature. However, the rapid expansion of publications presents challenges in efficiently identifying, summarizing, and updating evidence. We introduce TrialMind, a generative AI-based pipeline for conducting medical systematic reviews, encompassing study search, screening, and data extraction phases. We utilize large language models (LLMs) to drive each pipeline component while incorporating human expert oversight to minimize errors. To facilitate evaluation, we also create a benchmark dataset TrialReviewBench, a custom dataset with 870 annotated clinical studies from 25 meta-analysis papers across various medical treatments. Our results demonstrate that TrialMind significantly improves the literature review process, achieving high recall rates (0.897-1.000) in study searching from over 20 million PubMed studies and outperforming traditional language model embeddings-based methods in screening (Recall@20 of 0.227-0.246 vs. 0.000-0.102). Furthermore, our approach surpasses direct GPT-4 performance in result extraction, with accuracy ranging from 0.65 to 0.84. We also support clinical evidence synthesis in forest plots, as validated by eight human annotators who preferred TrialMind over the GPT-4 baseline with a winning rate of 62.5%-100% across the involved reviews. Our findings suggest that an LLM-based clinical evidence synthesis approach, such as TrialMind, can enable reliable and high-quality clinical evidence synthesis to improve clinical research efficiency.
- Abstract(参考訳): AIによる自動医療発見は多くの人の夢です。
その目標に向かっている1つのステップは、臨床研究を理解し、文献から臨床証拠を合成するAIモデルを作ることだ。
臨床エビデンス合成は、現在、臨床試験の体系的レビューと医学文献の振り返り分析に依存している。
しかし、出版物の急速な拡大は、証拠を効率的に特定し、要約し、更新することの難しさを示している。
我々はTrialMindを紹介した。TrialMindは、医学的体系的なレビューを行うための生成AIベースのパイプラインで、検索、スクリーニング、データ抽出フェーズを含む。
大規模な言語モデル(LLM)を使用してパイプラインの各コンポーネントを駆動し、エラーを最小限に抑えるために人間の専門家の監視を取り入れます。
評価を容易にするために,25のメタアナリシス論文から870の注釈付き臨床研究を行うカスタムデータセットであるTrialReviewBenchも作成した。
その結果,TrialMindは文献レビュープロセスを大幅に改善し,2000万以上のPubMed研究からの検索において高いリコール率(0.897-1.000)を達成し,従来の言語モデルを用いたスクリーニング手法よりも優れていた(0.227-0.246 vs. 0.000-0.102のRecall@20)。
さらに,提案手法は,0.65から0.84までの精度で直接GPT-4性能を上回る結果を得た。
また、GPT-4ベースラインよりもTrialMindを好んだ8人のアノテーターが、関連するレビューで62.5%-100%の勝利率で評価したように、森林プロットの臨床的エビデンス合成を支持している。
以上の結果から,TrialMindのようなLCMベースの臨床エビデンス合成アプローチにより,信頼性の高い高品質な臨床エビデンス合成が可能となり,臨床研究効率が向上することが示唆された。
関連論文リスト
- End-To-End Clinical Trial Matching with Large Language Models [0.6151041580858937]
大言語モデル(LLM)を用いた臨床試験のためのエンドツーエンドパイプラインを提案する。
本研究は,93.3%の症例において関連する候補試験を同定し,88.0%の予備的精度を達成している。
私たちの完全なエンドツーエンドパイプラインは、自律的または人間の監督の下で運用することができ、オンコロジーに限定されません。
論文 参考訳(メタデータ) (2024-07-18T12:36:26Z) - TrialBench: Multi-Modal Artificial Intelligence-Ready Clinical Trial Datasets [57.067409211231244]
本稿では,マルチモーダルデータ(例えば,薬物分子,疾患コード,テキスト,分類・数値的特徴)と臨床治験設計における8つの重要な予測課題をカバーするAIreadyデータセットを精巧にキュレートした。
データセットのユーザビリティと信頼性を確保するため、各タスクに基本的な検証方法を提供する。
このようなオープンアクセスデータセットが利用可能になることは、臨床試験設計のための高度なAIアプローチの開発を促進することを期待する。
論文 参考訳(メタデータ) (2024-06-30T09:13:10Z) - De-identification of clinical free text using natural language
processing: A systematic review of current approaches [48.343430343213896]
自然言語処理は、その非識別プロセスの自動化の可能性を繰り返し示してきた。
本研究の目的は,過去13年間に臨床自由テキストの非識別化が進展したことを示す体系的な証拠を提供することである。
論文 参考訳(メタデータ) (2023-11-28T13:20:41Z) - Investigating Deep-Learning NLP for Automating the Extraction of
Oncology Efficacy Endpoints from Scientific Literature [0.0]
我々は,論文中のテキストから有効終端を抽出するフレームワークを開発し,最適化した。
我々の機械学習モデルは、有効性エンドポイントに関連する25のクラスを予測し、高いF1スコアを得る。
論文 参考訳(メタデータ) (2023-11-03T14:01:54Z) - Clinical Camel: An Open Expert-Level Medical Language Model with
Dialogue-Based Knowledge Encoding [31.884600238089405]
臨床研究に適したオープン・大型言語モデル(LLM)であるクリニカル・カメルについて述べる。
QLoRAを用いてLLaMA-2を微調整し,医療用LCMの医療用ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-05-19T23:07:09Z) - SPOT: Sequential Predictive Modeling of Clinical Trial Outcome with
Meta-Learning [67.8195828626489]
臨床試験は薬物開発に不可欠であるが、時間を要する、費用がかかる、失敗する傾向がある。
本稿では,まず,複数ソースの臨床試験データを関連するトライアルトピックにクラスタリングするために,臨床トライアル結果の逐次予測mOdeling(SPOT)を提案する。
タスクとして各トライアルシーケンスを考慮して、メタ学習戦略を使用して、モデルが最小限のアップデートで新しいタスクに迅速に適応できるポイントを達成する。
論文 参考訳(メタデータ) (2023-04-07T23:04:27Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳(メタデータ) (2023-03-24T03:14:00Z) - ANOVA-based Automatic Attribute Selection and a Predictive Model for
Heart Disease Prognosis [8.258177970935085]
本研究では,分散分析(ANOVA)とドメインエキスパートの知識を融合した情報融合手法を提案する。
提案手法は、平均平均精度99.2%、平均平均AUC97.9%を達成することができる。
論文 参考訳(メタデータ) (2022-07-30T19:29:18Z) - A Systematic Review of Natural Language Processing Applied to Radiology
Reports [3.600747505433814]
本研究は, 放射線学報告に応用されたNLPの最近の文献を体系的に評価する。
本研究は, 放射線学的特徴, nlp法, 性能, 研究, 臨床応用特性を含む21の変数に基づく。
論文 参考訳(メタデータ) (2021-02-18T18:54:41Z) - HINT: Hierarchical Interaction Network for Trial Outcome Prediction
Leveraging Web Data [56.53715632642495]
臨床試験は、有効性、安全性、または患者採用の問題により、不確実な結果に直面する。
本稿では,より一般的な臨床試験結果予測のための階層型Interaction Network(HINT)を提案する。
論文 参考訳(メタデータ) (2021-02-08T15:09:07Z) - CovidDeep: SARS-CoV-2/COVID-19 Test Based on Wearable Medical Sensors
and Efficient Neural Networks [51.589769497681175]
新型コロナウイルス(SARS-CoV-2)がパンデミックを引き起こしている。
SARS-CoV-2の逆転写-ポリメラーゼ連鎖反応に基づく現在の試験体制は、試験要求に追いついていない。
我々は,効率的なDNNと市販のWMSを組み合わせたCovidDeepというフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-20T21:47:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。