論文の概要: Evaluating Large Language Models for Automated Clinical Abstraction in Pulmonary Embolism Registries: Performance Across Model Sizes, Versions, and Parameters

• arxiv url: http://arxiv.org/abs/2503.21004v1
• Date: Wed, 26 Mar 2025 21:38:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:53:25.417339
• Title: Evaluating Large Language Models for Automated Clinical Abstraction in Pulmonary Embolism Registries: Performance Across Model Sizes, Versions, and Parameters
• Title（参考訳）: 肺塞栓症登録における臨床抽象化の自動化のための大規模言語モデルの評価:モデルサイズ,バージョン,パラメータ間のパフォーマンス
• Authors: Mahmoud Alwakeel, Emory Buck, Jonathan G. Martin, Imran Aslam, Sudarshan Rajagopal, Jian Pei, Mihai V. Podgoreanu, Christopher J. Lindsell, An-Kwok Ian Wong,
• Abstract要約: 肺塞栓症は心臓血管死の主要な原因である。 PERT ConsortiumレジストリはPE管理データを標準化するが、リソース集約的な手動抽象化に依存している。 LLMは、CTPE(Computed tomography PE)レポートから概念抽出を自動化するためのスケーラブルな代替手段を提供する。
• 参考スコア（独自算出の注目度）: 16.74673750576054
• License:
• Abstract: Pulmonary embolism (PE) is a leading cause of cardiovascular mortality, yet our understanding of optimal management remains limited due to heterogeneous and inaccessible radiology documentation. The PERT Consortium registry standardizes PE management data but depends on resource-intensive manual abstraction. Large language models (LLMs) offer a scalable alternative for automating concept extraction from computed tomography PE (CTPE) reports. This study evaluated the accuracy of LLMs in extracting PE-related concepts compared to a human-curated criterion standard. We retrospectively analyzed MIMIC-IV and Duke Health CTPE reports using multiple LLaMA models. Larger models (70B) outperformed smaller ones (8B), achieving kappa values of 0.98 (PE detection), 0.65-0.75 (PE location), 0.48-0.51 (right heart strain), and 0.65-0.70 (image artifacts). Moderate temperature tuning (0.2-0.5) improved accuracy, while excessive in-context examples reduced performance. A dual-model review framework achieved >80-90% precision. LLMs demonstrate strong potential for automating PE registry abstraction, minimizing manual workload while preserving accuracy.
• Abstract（参考訳）: 肺塞栓症 (PE) は心血管死の主要な原因であるが, 異種性, アクセス不能な放射線診断資料により, 最適管理の理解は限られている。 PERT ConsortiumのレジストリはPE管理データを標準化しているが、リソース集約的な手動抽象化に依存している。 大規模言語モデル(LLM)は、CTPE(Computerd tomography PE)レポートから概念抽出を自動化するためのスケーラブルな代替手段を提供する。 本研究では,PE関連概念の抽出におけるLLMの精度を,人為的基準と比較した。 複数のLLaMAモデルを用いてMIMIC-IVおよびDuke Health CTPEの報告を振り返って分析した。 より大きなモデル (70B) はより小さなモデル (8B) より優れており、カッパ値は0.98 (PE検出)、0.65-0.75 (PE位置)、0.48-0.51 (右心歪)、0.65-0.70 (画像アーティファクト) を達成している。 適度な温度調整(0.2-0.5)では精度が向上し、コンテキスト内の過剰な例では性能が低下した。 デュアルモデルレビューフレームワークは80-90%の精度を達成した。 LLMはPEレジストリの抽象化を自動化し、正確性を保ちながら手作業の負荷を最小限にする強力な可能性を示している。

関連論文リスト

• Leveraging Large Language Models to Enhance Machine Learning Interpretability and Predictive Performance: A Case Study on Emergency Department Returns for Mental Health Patients [2.3769374446083735]
  救急部門(ED)は精神状態の回復が大きな医療負担となり、患者の24-27%が30日以内に帰国する。 大規模言語モデル(LLM)と機械学習を統合することにより、EDメンタルヘルスリターンリスクモデルの予測精度と臨床的解釈性が向上するか否かを評価する。
  論文  参考訳（メタデータ） (2025-01-21T15:41:20Z)
• Language Models and Retrieval Augmented Generation for Automated Structured Data Extraction from Diagnostic Reports [2.932283627137903]
  この研究は、2つのデータセットを利用していた:7,294の放射線診断報告は、BT-RADS(Brain tumor Reporting and Data System)スコアに注釈付けされ、2,154の病理診断報告は、isocitrate dehydrogenase(IDH)変異のステータスに注釈付けされた。
  論文  参考訳（メタデータ） (2024-09-15T15:21:45Z)
• Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
  筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。 iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-10T19:17:23Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Mixed-Integer Projections for Automated Data Correction of EMRs Improve Predictions of Sepsis among Hospitalized Patients [7.639610349097473]
  本稿では,領域制約として臨床専門知識をシームレスに統合する革新的プロジェクションに基づく手法を提案する。 我々は、患者データの健全な範囲を規定する制約から補正されたデータの距離を測定する。 AUROCは0.865で、精度は0.922で、従来のMLモデルを上回る。
  論文  参考訳（メタデータ） (2023-08-21T15:14:49Z)
• Learning to diagnose cirrhosis from radiological and histological labels with joint self and weakly-supervised pretraining strategies [62.840338941861134]
  そこで本稿では, 放射線学者が注釈付けした大規模データセットからの転写学習を活用して, 小さい付加データセットで利用できる組織学的スコアを予測することを提案する。 我々は,肝硬変の予測を改善するために,異なる事前訓練法,すなわち弱い指導法と自己指導法を比較した。 この方法は、METAVIRスコアのベースライン分類を上回り、AUCが0.84、バランスの取れた精度が0.75に達する。
  論文  参考訳（メタデータ） (2023-02-16T17:06:23Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• Application of the nnU-Net for automatic segmentation of lung lesion on CT images, and implication on radiomic models [1.8231394717039833]
  非小細胞肺癌患者のCT画像にディープラーニング自動分画法を適用した。 生存放射線モデルの性能評価において,手動と自動セグメンテーションの併用も検討した。
  論文  参考訳（メタデータ） (2022-09-24T15:04:23Z)
• Exploring the Limits of Domain-Adaptive Training for Detoxifying Large-Scale Language Models [84.30718841659531]
  言語モデルの毒性を低減するために,ドメイン適応型学習について検討する。 トレーニングコーパスでは, LMの生成能力を活用することを提案する。 次に,126Mから530Bまでのパラメータサイズを持つLMを包括的に研究した。
  論文  参考訳（メタデータ） (2022-02-08T22:10:40Z)
• Lung Cancer Lesion Detection in Histopathology Images Using Graph-Based Sparse PCA Network [93.22587316229954]
  ヘマトキシリンとエオシン(H&E)で染色した組織学的肺スライドにおける癌病変の自動検出のためのグラフベーススパース成分分析(GS-PCA)ネットワークを提案する。 我々は,SVM K-rasG12D肺がんモデルから得られたH&Eスライダーの精度・リコール率,Fスコア,谷本係数,レシーバ演算子特性(ROC)の曲線下領域を用いて,提案アルゴリズムの性能評価を行った。
  論文  参考訳（メタデータ） (2021-10-27T19:28:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。