論文の概要: Development and Validation of a Dynamic-Template-Constrained Large Language Model for Generating Fully-Structured Radiology Reports
- arxiv url: http://arxiv.org/abs/2409.18319v2
- Date: Fri, 25 Oct 2024 03:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 07:00:37.305512
- Title: Development and Validation of a Dynamic-Template-Constrained Large Language Model for Generating Fully-Structured Radiology Reports
- Title（参考訳）: 動的テンプレート制約付き大言語モデルの開発と評価
- Authors: Chuang Niu, Parisa Kaviani, Qing Lyu, Mannudeep K. Kalra, Christopher T. Whitlow, Ge Wang,
- Abstract要約: 完全に構造化されたレポートを作成するための現在のLLMは、外部サーバにデータをアップロードする際のエラー、コンテンツ幻覚、プライバシー漏洩といった問題に直面している。
我々は,各機関の様々な自由テキストレポートから完全に構造化され,標準化されたLCSレポートを作成するための,オープンソースで正確なLCMを開発することを目的としている。
- 参考スコア（独自算出の注目度）: 9.504087246178221
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current LLMs for creating fully-structured reports face the challenges of formatting errors, content hallucinations, and privacy leakage issues when uploading data to external servers.We aim to develop an open-source, accurate LLM for creating fully-structured and standardized LCS reports from varying free-text reports across institutions and demonstrate its utility in automatic statistical analysis and individual lung nodule retrieval. With IRB approvals, our retrospective study included 5,442 de-identified LDCT LCS radiology reports from two institutions. We constructed two evaluation datasets by labeling 500 pairs of free-text and fully-structured radiology reports and one large-scale consecutive dataset from January 2021 to December 2023. Two radiologists created a standardized template for recording 27 lung nodule features on LCS. We designed a dynamic-template-constrained decoding method to enhance existing LLMs for creating fully-structured reports from free-text radiology reports. Using consecutive structured reports, we automated descriptive statistical analyses and a nodule retrieval prototype. Our best LLM for creating fully-structured reports achieved high performance on cross-institutional datasets with an F1 score of about 97%, with neither formatting errors nor content hallucinations. Our method consistently improved the best open-source LLMs by up to 10.42%, and outperformed GPT-4o by 17.19%. The automatically derived statistical distributions were consistent with prior findings regarding attenuation, location, size, stability, and Lung-RADS. The retrieval system with structured reports allowed flexible nodule-level search and complex statistical analysis. Our developed software is publicly available for local deployment and further research.
- Abstract（参考訳）: 完全構造化されたレポートを作成するための現在のLCMは、外部サーバにデータをアップロードする際のエラー、コンテンツ幻覚、プライバシー漏洩といった問題に直面している。我々は、機関ごとの様々な自由テキストレポートから完全に構造化された標準化されたLCSレポートを作成するための、オープンソースで正確なLSMを開発し、自動統計分析や個々の肺結節検索においてその有用性を実証することを目指している。
IRBの承認により,2施設のLDCT LCSラジオグラフィー報告は5,442件であった。
我々は,2021年1月から2023年12月までに,500対のフリーテキストおよび完全構造化ラジオグラフィーレポートと大規模連続データセットをラベル付けして2つの評価データセットを構築した。
2人の放射線学者が、LCSで27個の肺結節の特徴を記録するための標準化されたテンプレートを作成しました。
我々は、自由テキストラジオグラフィーレポートから完全に構造化されたレポートを作成するために、既存のLCMを強化するために動的テンプレート制約付き復号法を設計した。
連続的な構造化レポートを用いて,記述的統計分析と結節検索のプロトタイプを自動生成する。
完全に構造化されたレポートを作成するのに最適なLCMは、F1スコアが約97%で、フォーマットエラーやコンテンツ幻覚を伴わない、クロスインスティカルなデータセット上で高いパフォーマンスを実現しました。
提案手法は,優れたオープンソース LLM を最大10.42% 改善し,GPT-4o を17.19% 向上させた。
自動抽出された統計分布は, 減衰, 位置, サイズ, 安定性, およびLung-RADSに関する先行的な知見と一致した。
構造化されたレポートを用いた検索システムは、柔軟な結節レベルの探索と複雑な統計解析を可能にした。
私たちの開発したソフトウェアは、ローカルデプロイメントとさらなる研究のために公開されています。
関連論文リスト
- Improving Radiology Report Conciseness and Structure via Local Large Language Models [0.0]
本研究の目的は, 簡潔さと構造的構造を向上し, 放射線診断を向上することである。
この構造化されたアプローチにより、医師は関連する情報を素早く見つけ出し、レポートの有用性を高めることができる。
我々は、Mixtral、Mistral、Llamaなどの大規模言語モデル(LLM)を用いて、簡潔で構造化されたレポートを生成する。
論文 参考訳（メタデータ） (2024-11-06T19:00:57Z) - Language Models and Retrieval Augmented Generation for Automated Structured Data Extraction from Diagnostic Reports [2.932283627137903]
この研究は、2つのデータセットを利用していた:7,294の放射線診断報告は、BT-RADS(Brain tumor Reporting and Data System)スコアに注釈付けされ、2,154の病理診断報告は、isocitrate dehydrogenase(IDH)変異のステータスに注釈付けされた。
論文 参考訳（メタデータ） (2024-09-15T15:21:45Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - DictLLM: Harnessing Key-Value Data Structures with Large Language Models
for Enhanced Medical Diagnostics [36.057925881268226]
DictLLMは、医学実験室報告のようなキーバリュー構造化データのモデリングを改善するために設計された革新的なフレームワークである。
診断自動生成のための総合的な実世界医療実験室レポートデータセットを用いて,様々なLCMモデルを用いた実験を行った。
論文 参考訳（メタデータ） (2024-02-18T07:10:02Z) - Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation [0.0]
データ・トゥ・テキスト(D2T)生成タスクにおけるオープン・大規模言語モデル(LLM)の挙動を解析する。
オープン LLM は,Quintd で収集した共通フォーマットのデータから,ゼロショット設定で,ゆるやかで一貫性のあるテキストを生成することができる。
論文 参考訳（メタデータ） (2024-01-18T18:15:46Z) - PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。
提案手法は画像とテキストデータを融合して生成プロセスを強化する。
我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
論文 参考訳（メタデータ） (2023-09-01T22:08:32Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-08T09:12:28Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳（メタデータ） (2023-04-17T17:13:42Z) - mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。
有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。
事実整合性評価モデルを利用して、多言語要約を改善する。
論文 参考訳（メタデータ） (2022-12-20T19:52:41Z) - Medical Scientific Table-to-Text Generation with Human-in-the-Loop under
the Data Sparsity Constraint [11.720364723821993]
効率的なテーブル・ツー・テキスト要約システムは、このデータをレポートにまとめる手作業を大幅に減らすことができる。
しかし、実際には、この問題は、正確で信頼性の高い出力を生成するための最先端の自然言語生成モデルの、データポーカリティ、データポーサリティ、および機能不全によって大きく妨げられている。
本稿では, 自動補正, コピー機構, 合成データ拡張によって強化された新しい2段階アーキテクチャを用いて, テーブル・ツー・テキスト・アプローチを提案し, それらの課題に対処する。
論文 参考訳（メタデータ） (2022-05-24T21:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。