論文の概要: General-Purpose vs. Domain-Adapted Large Language Models for Extraction
of Data from Thoracic Radiology Reports
- arxiv url: http://arxiv.org/abs/2311.17213v1
- Date: Tue, 28 Nov 2023 20:34:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 23:29:45.396959
- Title: General-Purpose vs. Domain-Adapted Large Language Models for Extraction
of Data from Thoracic Radiology Reports
- Title（参考訳）: 胸部X線写真からのデータの抽出のための一般目的対ドメイン適応大言語モデル
- Authors: Ali H. Dhanaliwala, Rikhiya Ghosh, Sanjeev Kumar Karn, Poikavila
Ullaskrishnan, Oladimeji Farri, Dorin Comaniciu and Charles E. Kahn
- Abstract要約: ドメイン適応言語モデル(RadLing)と汎用大言語モデル(GPT-4)を用いたシステムの性能比較
RadLingは、文章の埋め込みを生成し、cosine-similarityを使ってCDEを識別するために使われた。
GPT-4システムはOpenAIの汎用埋め込みを使用して関連するCDEを識別し、GPT-4を使って値にマッピングした。
- 参考スコア（独自算出の注目度）: 6.251785552046474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Radiologists produce unstructured data that could be valuable for clinical
care when consumed by information systems. However, variability in style limits
usage. Study compares performance of system using domain-adapted language model
(RadLing) and general-purpose large language model (GPT-4) in extracting common
data elements (CDE) from thoracic radiology reports. Three radiologists
annotated a retrospective dataset of 1300 thoracic reports (900 training, 400
test) and mapped to 21 pre-selected relevant CDEs. RadLing was used to generate
embeddings for sentences and identify CDEs using cosine-similarity, which were
mapped to values using light-weight mapper. GPT-4 system used OpenAI's
general-purpose embeddings to identify relevant CDEs and used GPT-4 to map to
values. The output CDE:value pairs were compared to the reference standard; an
identical match was considered true positive. Precision (positive predictive
value) was 96% (2700/2824) for RadLing and 99% (2034/2047) for GPT-4. Recall
(sensitivity) was 94% (2700/2876) for RadLing and 70% (2034/2887) for GPT-4;
the difference was statistically significant (P<.001). RadLing's domain-adapted
embeddings were more sensitive in CDE identification (95% vs 71%) and its
light-weight mapper had comparable precision in value assignment (95.4% vs
95.0%). RadLing system exhibited higher performance than GPT-4 system in
extracting CDEs from radiology reports. RadLing system's domain-adapted
embeddings outperform general-purpose embeddings from OpenAI in CDE
identification and its light-weight value mapper achieves comparable precision
to large GPT-4. RadLing system offers operational advantages including local
deployment and reduced runtime costs. Domain-adapted RadLing system surpasses
GPT-4 system in extracting common data elements from radiology reports, while
providing benefits of local deployment and lower costs.
- Abstract（参考訳）: 放射線科医は、情報システムによって消費される臨床治療に有用な非構造化データを生成する。
しかし、スタイルのバリエーションは使用を制限する。
胸部X線写真から共通データ要素(CDE)を抽出する際,ドメイン適応言語モデル(RadLing)と汎用大言語モデル(GPT-4)を用いたシステムの性能の比較を行った。
3人の放射線学者が1300の胸部リポート(900のトレーニング、400の試験)の振り返りデータセットに注釈を付け、21の関連するCDEにマッピングした。
radlingは文の埋め込みを生成し、cosine- similarityを使ってcdを識別するために使われ、軽量マッパーを使って値にマッピングされた。
GPT-4システムはOpenAIの汎用埋め込みを使用して関連するCDEを識別し、GPT-4を使って値にマッピングした。
出力のcde:valueペアは参照標準と比較され、正の一致は正であると考えられた。
精度(正の予測値)はRadLingが96%(2700/2824)、GPT-4が99%(2034/2047)であった。
リコール(感度)はRadLingが94%(2700/2876)、GPT-4が70%(2034/2887)、統計学的に有意差(P<.001。
RadLingのドメイン適応型埋め込みはCDE識別(95%対71%)に敏感であり、軽量マッパーは95.4%対95.0%)と同等の精度であった。
RadLing system は GPT-4 system よりも高い性能を示した。
RadLingシステムのドメイン適応埋め込みは、CDE識別におけるOpenAIの汎用埋め込みよりも優れており、その軽量値マッパーは大きなGPT-4に匹敵する精度を達成する。
RadLingシステムは、ローカルデプロイメントやランタイムコストの削減など、運用上のメリットを提供する。
ドメイン適応型RadLingシステムは、ローカルデプロイメントと低コストのメリットを提供しながら、放射線学レポートから共通データ要素を抽出するGPT-4システムを上回る。
関連論文リスト
- ChatSchema: A pipeline of extracting structured information with Large Multimodal Models based on schema [13.06247238452398]
チャットは,非構造化データから情報を抽出し,構造化するための有効な方法である。
我々は北京大学第一病院から100件の医療報告を分析し,2,945対の鍵値のペアを用いた地上真実データセットを構築した。
論文 参考訳（メタデータ） (2024-07-26T13:05:24Z) - How Well Do Multi-modal LLMs Interpret CT Scans? An Auto-Evaluation Framework for Analyses [14.884877292068351]
本研究ではGPTRadScore'という新しい評価フレームワークを紹介する。
GPT-4 with Vision (GPT-4V)、Gemini Pro Vision、LLaVA-Med、RadFMといったマルチモーダルLCMの、将来的な発見のための記述を生成する能力を評価する。
GPT-4に基づく分解手法を用いて、GPTRadScoreは生成した記述をゴールドスタンダードのレポート文と比較し、その精度を身体部分、位置、発見の種類で分析する。
論文 参考訳（メタデータ） (2024-03-08T21:16:28Z) - Is Open-Source There Yet? A Comparative Study on Commercial and
Open-Source LLMs in Their Ability to Label Chest X-Ray Reports [0.8553482972179836]
GPT-4はゼロショットレポートラベリングにおいてオープンソースモデルよりも優れているが、少数ショットプロンプトの実装はGPT-4と同等のオープンソースモデルをもたらす可能性がある。
このことは、オープンソースモデルは、放射線学レポート分類のタスクにおいて、GPT-4に代わるパフォーマンスとプライバシ保護の代替となる可能性があることを示している。
論文 参考訳（メタデータ） (2024-02-19T17:23:10Z) - Exploring the Boundaries of GPT-4 in Radiology [46.30976153809968]
GPT-4は、複雑なコンテキストにおいて、時折エラーしか発生しない十分なレベルの放射線学知識を持っている。
結果の要約では、GPT-4の出力は、既存の手書きのインプレッションと総合的に比較できる。
論文 参考訳（メタデータ） (2023-10-23T05:13:03Z) - Text Classification via Large Language Models [63.1874290788797]
テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。
注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。
さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
論文 参考訳（メタデータ） (2023-05-15T06:24:45Z) - Attention-based Saliency Maps Improve Interpretability of Pneumothorax
Classification [52.77024349608834]
視覚変換器(ViT)の胸部X線撮影(CXR)分類性能と注意ベース唾液の解釈可能性について検討する。
ViTは、CheXpert、Chest X-Ray 14、MIMIC CXR、VinBigDataの4つの公開データセットを用いて、肺疾患分類のために微調整された。
ViTsは最先端のCNNと比べてCXR分類AUCに匹敵するものであった。
論文 参考訳（メタデータ） (2023-03-03T12:05:41Z) - Exploiting prompt learning with pre-trained language models for
Alzheimer's Disease detection [70.86672569101536]
アルツハイマー病(AD)の早期診断は予防ケアの促進とさらなる進行の遅らせに不可欠である。
本稿では,AD分類誤差をトレーニング対象関数として一貫して用いたPLMの高速微調整法について検討する。
論文 参考訳（メタデータ） (2022-10-29T09:18:41Z) - Exploring traditional machine learning for identification of
pathological auscultations [0.39577682622066246]
各種機械学習シナリオにおいて,45例のデジタル6チャンネル聴取を行った。
目的は,正常な肺と異常な肺の音を区別することであった。
監視されていないモデルよりも一貫した優位性を示した。
論文 参考訳（メタデータ） (2022-09-01T18:03:21Z) - Chest x-ray automated triage: a semiologic approach designed for
clinical implementation, exploiting different types of labels through a
combination of four Deep Learning architectures [83.48996461770017]
本研究では,異なる畳み込みアーキテクチャの後期融合に基づく深層学習手法を提案する。
公開胸部x線画像と機関アーカイブを組み合わせたトレーニングデータセットを4つ構築した。
4つの異なるディープラーニングアーキテクチャをトレーニングし、それらのアウトプットとレイトフュージョン戦略を組み合わせることで、統一されたツールを得ました。
論文 参考訳（メタデータ） (2020-12-23T14:38:35Z) - A multicenter study on radiomic features from T$_2$-weighted images of a
customized MR pelvic phantom setting the basis for robust radiomic models in
clinics [47.187609203210705]
骨盤ファントムの2Dおよび3D T$$-weightedイメージを3つのスキャナーで取得した。
放射線学的特徴の再現性と再配置を評価した。
論文 参考訳（メタデータ） (2020-05-14T09:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。