論文の概要: Evaluating Large Language Models for Automated Clinical Abstraction in Pulmonary Embolism Registries: Performance Across Model Sizes, Versions, and Parameters

• arxiv url: http://arxiv.org/abs/2503.21004v2
• Date: Thu, 26 Jun 2025 02:02:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 15:38:00.166389
• Title: Evaluating Large Language Models for Automated Clinical Abstraction in Pulmonary Embolism Registries: Performance Across Model Sizes, Versions, and Parameters
• Title（参考訳）: 肺塞栓症登録における臨床抽象化の自動化のための大規模言語モデルの評価:モデルサイズ,バージョン,パラメータ間のパフォーマンス
• Authors: Mahmoud Alwakeel, Emory Buck, Jonathan G. Martin, Imran Aslam, Sudarshan Rajagopal, Jian Pei, Mihai V. Podgoreanu, Christopher J. Lindsell, An-Kwok Ian Wong,
• Abstract要約: 肺塞栓症登録は、研究の改善を加速するが、放射線医学報告の労働集約的手作業による抽象化に依存している。 データ品質を損なうことなく,計算トモグラフィPE(CTPE)レポートから概念抽出を自動化できるかを検討した。 4つのラマ3型(3.0 8B, 3.1 8B, 3.1 70B, 3.3 70B)と1つのレビュアーモデルであるPhi 4 14Bは、MIMIC IVとデューク大学からそれぞれ250個の注釈付きCTPEレポートで試験された。 正の予測値 (PPV) と負の予測値 (NPV) を人体金標準と比較し, 精度, 正の予測値 (PPV) を計測した。
• 参考スコア（独自算出の注目度）: 16.74673750576054
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pulmonary embolism (PE) registries accelerate practice improving research but rely on labor intensive manual abstraction of radiology reports. We examined whether openly available large language models (LLMs) can automate concept extraction from computed tomography PE (CTPE) reports without loss of data quality. Four Llama 3 variants (3.0 8B, 3.1 8B, 3.1 70B, 3.3 70B) and one reviewer model, Phi 4 14B, were tested on 250 dual annotated CTPE reports from each of MIMIC IV and Duke University. Accuracy, positive predictive value (PPV) and negative predictive value (NPV) versus a human gold standard were measured across model size, temperature and shot count. Mean accuracy rose with scale: 0.83 (3.0 8B), 0.91 (3.1 8B) and 0.96 for both 70B variants; Phi 4 14B reached 0.98. Accuracy differed by less than 0.03 between datasets, indicating external robustness. In dual model concordance (L3 70B plus Phi 4 14B) PPV for PE presence was at least 0.95 and NPV at least 0.98, while location, thrombus burden, right heart strain and image quality artifacts each achieved PPV of at least 0.90 and NPV of at least 0.95. Fewer than four percent of individual concept annotations were discordant, and full agreement occurred in more than seventy five percent of reports. Large language models therefore provide a scalable, accurate solution for PE registry abstraction, and a dual model review workflow can safeguard data quality with minimal human oversight.
• Abstract（参考訳）: 肺塞栓症 (PE) 登録は, 研究改善の実践を加速するが, 放射線学報告の労働集約的手作業による抽象化に依存している。 データ品質を損なうことなく,計算トモグラフィPE(CTPE)レポートから概念抽出を自動化できるかを検討した。 4つのラマ3型(3.0 8B, 3.1 8B, 3.1 70B, 3.3 70B)と1つのレビュアーモデルであるPhi 4 14Bは、MIMIC IVとデューク大学のそれぞれから250個の注釈付きCTPEレポートで試験された。 正の予測値(PPV)と負の予測値(NPV)を,モデルサイズ,温度,ショット数で測定した。 平均精度は0.83 (3.0 8B)、0.91 (3.1 8B)、0.96で上昇し、Phi 4 14Bは0.98に達した。 データセット間の精度は0.03未満で、外部の堅牢性を示している。 両モデル一致(L370B+Phi414B)では、PE存在下でのPPVは少なくとも0.95、NPVは少なくとも0.98であり、位置、血栓負荷、右心歪、画像品質アーチファクトはそれぞれ0.90、NPVは少なくとも0.95であった。 個々の概念アノテーションの4%以下は不一致であり、完全な合意は報告の75%以上で達成された。 したがって、大規模な言語モデルは、PEレジストリの抽象化のためのスケーラブルで正確なソリューションを提供し、デュアルモデルレビューワークフローは、最小限の人間の監視でデータ品質を保護することができる。

関連論文リスト

• A Multi-Phase Analysis of Blood Culture Stewardship: Machine Learning Prediction, Expert Recommendation Assessment, and LLM Automation [2.25639842999394]
  血の文化は、しばしば明確な正当化なしに過度に秩序づけられる。 135483 救急部門 (ED) の血液培養命令について検討し,細菌性貧血のリスクを予測する機械学習モデルを開発した。
  論文  参考訳（メタデータ） (2025-04-09T21:12:29Z)
• Finetuning and Quantization of EEG-Based Foundational BioSignal Models on ECG and PPG Data for Blood Pressure Estimation [53.2981100111204]
  光胸腺撮影と心電図は、連続血圧モニタリング(BP)を可能にする可能性がある。 しかし、データ品質と患者固有の要因の変化のため、正確で堅牢な機械学習(ML)モデルは依然として困難である。 本研究では,1つのモータリティで事前学習したモデルを効果的に利用して,異なる信号タイプの精度を向上させる方法について検討する。 本手法は, 拡張期BPの最先端精度を約1.5倍に向上し, 拡張期BPの精度を1.5倍に向上させる。
  論文  参考訳（メタデータ） (2025-02-10T13:33:12Z)
• Leveraging Large Language Models to Enhance Machine Learning Interpretability and Predictive Performance: A Case Study on Emergency Department Returns for Mental Health Patients [2.3769374446083735]
  救急部門(ED)は精神状態の回復が大きな医療負担となり、患者の24-27%が30日以内に帰国する。 大規模言語モデル(LLM)と機械学習を統合することにより、EDメンタルヘルスリターンリスクモデルの予測精度と臨床的解釈性が向上するか否かを評価する。
  論文  参考訳（メタデータ） (2025-01-21T15:41:20Z)
• Language Models and Retrieval Augmented Generation for Automated Structured Data Extraction from Diagnostic Reports [2.932283627137903]
  この研究は、2つのデータセットを利用していた:7,294の放射線診断報告は、BT-RADS(Brain tumor Reporting and Data System)スコアに注釈付けされ、2,154の病理診断報告は、isocitrate dehydrogenase(IDH)変異のステータスに注釈付けされた。
  論文  参考訳（メタデータ） (2024-09-15T15:21:45Z)
• Phikon-v2, A large and public feature extractor for biomarker prediction [42.52549987351643]
  我々は、DINOv2を用いて視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、Phikon-v2と呼ばれるさらなる実験を行う。 Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。
  論文  参考訳（メタデータ） (2024-09-13T20:12:29Z)
• Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
  筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。 iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-10T19:17:23Z)
• Improving Diffusion Models for ECG Imputation with an Augmented Template Prior [43.6099225257178]
  ノイズと品質の悪い録音は、モバイルヘルスシステムを使って収集された信号にとって大きな問題である。 近年の研究では、確率的時系列モデルによるECGの欠落値の計算が検討されている。 本稿では,様々な健康状態の事前情報として,テンプレート誘導型拡散確率モデル(DDPM)PulseDiffを提案する。
  論文  参考訳（メタデータ） (2023-10-24T11:34:15Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• Application of the nnU-Net for automatic segmentation of lung lesion on CT images, and implication on radiomic models [1.8231394717039833]
  非小細胞肺癌患者のCT画像にディープラーニング自動分画法を適用した。 生存放射線モデルの性能評価において,手動と自動セグメンテーションの併用も検討した。
  論文  参考訳（メタデータ） (2022-09-24T15:04:23Z)
• Exploring the Limits of Domain-Adaptive Training for Detoxifying Large-Scale Language Models [84.30718841659531]
  言語モデルの毒性を低減するために,ドメイン適応型学習について検討する。 トレーニングコーパスでは, LMの生成能力を活用することを提案する。 次に,126Mから530Bまでのパラメータサイズを持つLMを包括的に研究した。
  論文  参考訳（メタデータ） (2022-02-08T22:10:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。