論文の概要: Cross-Institutional Structured Radiology Reporting for Lung Cancer Screening Using a Dynamic Template-Constrained Large Language Model
- arxiv url: http://arxiv.org/abs/2409.18319v1
- Date: Fri, 25 Oct 2024 03:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 07:00:37.308225
- Title: Cross-Institutional Structured Radiology Reporting for Lung Cancer Screening Using a Dynamic Template-Constrained Large Language Model
- Title(参考訳): 動的テンプレート制約大言語モデルを用いた肺癌検診における施設間構造X線検査
- Authors: Chuang Niu, Parisa Kaviani, Qing Lyu, Mannudeep K. Kalra, Christopher T. Whitlow, Ge Wang,
- Abstract要約: 我々は,自由テキスト記述から構造化および標準化されたLCSレポートを作成するための拡張されたオープンソースLCMを開発することを目的とする。
LLAMA-3.1 405Bを最大10.42%改善し, GPT-4oを17.19%向上させた。
大規模マルチモーダルデータベース上で,新しい結節検索システムを試作し,実演した。
- 参考スコア(独自算出の注目度): 9.504087246178221
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured radiology reporting is advantageous for optimizing clinical workflows and patient outcomes. Current LLMs in creating structured reports face the challenges of formatting errors, content hallucinations, and privacy leakage concerns when uploaded to external servers. We aim to develop an enhanced open-source LLM for creating structured and standardized LCS reports from free-text descriptions. After institutional IRB approvals, 5,442 de-identified LCS reports from two institutions were retrospectively analyzed. 500 reports were randomly selected from the two institutions evenly and then manually labeled for evaluation. Two radiologists from the two institutions developed a standardized template including 29 features for lung nodule reporting. We proposed template-constrained decoding to enhance state-of-the-art open-source LLMs, including LLAMA, Qwen, and Mistral. The LLM performance was extensively evaluated in terms of F1 score, confidence interval, McNemar test, and z-test. Based on the structured reports created from the large-scale dataset, a nodule-level retrieval system was prototyped and an automatic statistical analysis was performed. Our software, vLLM-structure, is publicly available for local deployment with enhanced LLMs. Our template-constrained decoding approach consistently enhanced the LLM performance on multi-institutional datasets, with neither formatting errors nor content hallucinations. Our method improved the best open-source LLAMA-3.1 405B by up to 10.42%, and outperformed GPT-4o by 17.19%. A novel nodule retrieval system was successfully prototyped and demonstrated on a large-scale multimodal database using our enhanced LLM technologies. The automatically derived statistical distributions were closely consistent with the prior findings in terms of nodule type, location, size, status, and Lung-RADS.
- Abstract(参考訳): 構造的放射線学報告は、臨床ワークフローの最適化と患者の結果に有利である。
構造化レポートの作成における現在のLCMは、外部サーバにアップロードされた際のエラー、コンテンツ幻覚、プライバシー漏洩といった問題に直面している。
我々は,自由文記述から構造化および標準化されたLCSレポートを作成するための拡張されたオープンソースLCMを開発することを目的とする。
機関のIRB承認後、2つの機関のLCSレポート5,442件を振り返って分析した。
この2つの機関から500件の報告書をランダムに選別し、手動で評価した。
2施設の放射線技師2人は、肺結節の報告に29の特徴を含む標準化されたテンプレートを開発した。
LLAMA, Qwen, Mistral など,最先端のオープンソース LLM を実現するためのテンプレート制約付き復号法を提案する。
LLMの性能はF1スコア,信頼区間,マクネマール試験,z-testで広く評価された。
大規模データセットから作成した構造化レポートに基づいて,ノードレベルの検索システムを試作し,自動統計解析を行った。
当社のソフトウェアであるvLLM-structureは,LLMを拡張したローカルデプロイメント用に公開されている。
テンプレート制約付き復号化手法は,フォーマットエラーやコンテンツ幻覚を伴わず,多施設データセット上でのLLM性能を一貫して向上させる。
LLAMA-3.1 405Bを最大10.42%改善し, GPT-4oを17.19%向上させた。
拡張LDM技術を用いた大規模マルチモーダルデータベース上で,新しい結節検索システムを試作し,実演した。
自動抽出された統計的分布は,結節型,位置,サイズ,ステータス,肺-RADSの順に一致していた。
関連論文リスト
- Improving Radiology Report Conciseness and Structure via Local Large Language Models [0.0]
本研究の目的は, 簡潔さと構造的構造を向上し, 放射線診断を向上することである。
この構造化されたアプローチにより、医師は関連する情報を素早く見つけ出し、レポートの有用性を高めることができる。
我々は、Mixtral、Mistral、Llamaなどの大規模言語モデル(LLM)を用いて、簡潔で構造化されたレポートを生成する。
論文 参考訳(メタデータ) (2024-11-06T19:00:57Z) - Language Models and Retrieval Augmented Generation for Automated Structured Data Extraction from Diagnostic Reports [2.932283627137903]
この研究は、2つのデータセットを利用していた:7,294の放射線診断報告は、BT-RADS(Brain tumor Reporting and Data System)スコアに注釈付けされ、2,154の病理診断報告は、isocitrate dehydrogenase(IDH)変異のステータスに注釈付けされた。
論文 参考訳(メタデータ) (2024-09-15T15:21:45Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳(メタデータ) (2024-07-01T18:58:22Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳(メタデータ) (2024-06-25T04:27:53Z) - DictLLM: Harnessing Key-Value Data Structures with Large Language Models
for Enhanced Medical Diagnostics [36.057925881268226]
DictLLMは、医学実験室報告のようなキーバリュー構造化データのモデリングを改善するために設計された革新的なフレームワークである。
診断自動生成のための総合的な実世界医療実験室レポートデータセットを用いて,様々なLCMモデルを用いた実験を行った。
論文 参考訳(メタデータ) (2024-02-18T07:10:02Z) - Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation [0.0]
データ・トゥ・テキスト(D2T)生成タスクにおけるオープン・大規模言語モデル(LLM)の挙動を解析する。
オープン LLM は,Quintd で収集した共通フォーマットのデータから,ゼロショット設定で,ゆるやかで一貫性のあるテキストを生成することができる。
論文 参考訳(メタデータ) (2024-01-18T18:15:46Z) - PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。
提案手法は画像とテキストデータを融合して生成プロセスを強化する。
我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
論文 参考訳(メタデータ) (2023-09-01T22:08:32Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳(メタデータ) (2023-04-17T17:13:42Z) - mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。
有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。
事実整合性評価モデルを利用して、多言語要約を改善する。
論文 参考訳(メタデータ) (2022-12-20T19:52:41Z) - Medical Scientific Table-to-Text Generation with Human-in-the-Loop under
the Data Sparsity Constraint [11.720364723821993]
効率的なテーブル・ツー・テキスト要約システムは、このデータをレポートにまとめる手作業を大幅に減らすことができる。
しかし、実際には、この問題は、正確で信頼性の高い出力を生成するための最先端の自然言語生成モデルの、データポーカリティ、データポーサリティ、および機能不全によって大きく妨げられている。
本稿では, 自動補正, コピー機構, 合成データ拡張によって強化された新しい2段階アーキテクチャを用いて, テーブル・ツー・テキスト・アプローチを提案し, それらの課題に対処する。
論文 参考訳(メタデータ) (2022-05-24T21:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。