論文の概要: Can Rule-Based Insights Enhance LLMs for Radiology Report Classification? Introducing the RadPrompt Methodology
- arxiv url: http://arxiv.org/abs/2408.04121v1
- Date: Wed, 7 Aug 2024 23:09:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 17:10:20.207761
- Title: Can Rule-Based Insights Enhance LLMs for Radiology Report Classification? Introducing the RadPrompt Methodology
- Title（参考訳）: 放射線学レポート分類のためのルールベース洞察型LCMは可能か?RadPrompt法の導入
- Authors: Panagiotis Fytas, Anna Breger, Ian Selby, Simon Baker, Shahab Shahipasand, Anna Korhonen,
- Abstract要約: RadPertは、不確実性を認識した情報スキーマを合理化されたルールセットに統合し、パフォーマンスを向上させるルールベースのシステムである。
RadPromptは、RadPertを活用して、大規模な言語モデルのゼロショット予測能力を活性化するマルチターンプロンプト戦略である。
MIMIC-CXRゴールドスタンダードテストセットとケンブリッジ大学病院から収集したゴールドスタンダードデータセットの2つのイングリッシュコーパスについて,本手法の評価を行った。
- 参考スコア（独自算出の注目度）: 17.21669080865246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developing imaging models capable of detecting pathologies from chest X-rays can be cost and time-prohibitive for large datasets as it requires supervision to attain state-of-the-art performance. Instead, labels extracted from radiology reports may serve as distant supervision since these are routinely generated as part of clinical practice. Despite their widespread use, current rule-based methods for label extraction rely on extensive rule sets that are limited in their robustness to syntactic variability. To alleviate these limitations, we introduce RadPert, a rule-based system that integrates an uncertainty-aware information schema with a streamlined set of rules, enhancing performance. Additionally, we have developed RadPrompt, a multi-turn prompting strategy that leverages RadPert to bolster the zero-shot predictive capabilities of large language models, achieving a statistically significant improvement in weighted average F1 score over GPT-4 Turbo. Most notably, RadPrompt surpasses both its underlying models, showcasing the synergistic potential of LLMs with rule-based models. We have evaluated our methods on two English Corpora: the MIMIC-CXR gold-standard test set and a gold-standard dataset collected from the Cambridge University Hospitals.
- Abstract（参考訳）: 胸部X線から病理を検出できるイメージングモデルを開発することは、最先端のパフォーマンスを達成するために監督を必要とするため、大きなデータセットに対してコストと時間的制約が生じる可能性がある。
代わりに、放射線学報告から抽出されたラベルは、臨床実践の一部として定期的に生成されるため、遠方の監督として機能する可能性がある。
広く使われているにもかかわらず、現在のラベル抽出法は、構文的変動性に対する堅牢性に制限された広範囲なルールセットに依存している。
これらの制限を緩和するために,不確実性を認識した情報スキーマとルールの合理化,性能向上を行うルールベースのシステムであるRadPertを導入する。
さらに,大規模言語モデルのゼロショット予測能力を高めるためにRadPertを利用するマルチターンプロンプト戦略であるRadPromptを開発し,GPT-4 Turboよりも平均F1スコアの統計的に有意な改善を実現した。
とりわけRadPromptは、LLMとルールベースのモデルとの相乗的ポテンシャルを示している。
MIMIC-CXRゴールドスタンダードテストセットとケンブリッジ大学病院から収集したゴールドスタンダードデータセットの2つのイングリッシュコーパスについて,本手法の評価を行った。
関連論文リスト
- RNR: Teaching Large Language Models to Follow Roles and Rules [153.6596303205894]
既存のIFT命令から多様な役割やルールを生成する自動データ生成パイプラインであるモデルを提案する。
このデータは、複雑なシステムプロンプトに従うモデルをトレーニングするために使用することができる。
我々のフレームワークは、大規模言語モデルにおける役割と規則に従う能力を大幅に改善します。
論文 参考訳（メタデータ） (2024-09-10T06:07:32Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳（メタデータ） (2023-10-08T17:23:17Z) - Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。
MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-08-29T17:44:28Z) - Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation [7.586632627817609]
放射線学者は、解釈と報告を必要とする胸部X線(CXR)の量の増加のために、高いバーンアウト率に直面している。
提案するCXRレポートジェネレータは,ワークフローの要素を統合し,強化学習のための新たな報酬を導入する。
本研究の結果から, 提案モデルでは, 最新技術モデルよりも, 放射線学者の報告に適合した報告が生成されることがわかった。
論文 参考訳（メタデータ） (2023-07-19T05:41:14Z) - Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using
Domain Pre-trained Language Models [0.9049664874474734]
低頻度病理診断のためのドメイン固有事前訓練によるゼロショット分類モデルの性能評価を行った。
従来のCLIP-BERTの重みは、一般的に見られる病態のモデル性能を低下させるが、事前学習したテキストタワーは、低頻度の疾患に対して非常に優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-13T06:26:54Z) - Automated Labeling of German Chest X-Ray Radiology Reports using Deep
Learning [50.591267188664666]
本稿では,ルールベースのドイツ語CheXpertモデルによってラベル付けされたレポートに基づいて,ディープラーニングに基づくCheXpertラベル予測モデルを提案する。
その結果,3つのタスクすべてにおいて,ルールベースモデルを大幅に上回ったアプローチの有効性が示された。
論文 参考訳（メタデータ） (2023-06-09T16:08:35Z) - Improving Radiology Report Generation Systems by Removing Hallucinated
References to Non-existent Priors [1.1110995501996481]
本稿では,放射線学報告における過去の文献参照を除去する2つの方法を提案する。
GPT-3をベースとした少数ショットによる医療報告の書き直し手法と,BioBERTをベースとしたトークン分類手法により,先行参照語を直接削除する手法である。
CXR-ReDonEと呼ばれる再学習モデルでは,臨床測定値に対する従来のレポート生成手法を上回り,平均BERTSスコア0.2351(絶対改善率2.57%)を達成した。
論文 参考訳（メタデータ） (2022-09-27T00:44:41Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Learning from Ambiguous Labels for Lung Nodule Malignancy Prediction [20.16520398147676]
肺結節悪性度予測のための信頼性と曖昧性の両方から,多視点のMV-DAR(divide-and-rule)モデルを提案する。
提案したMV-DARは3つのDARサブモデルを含み、3つの直視から肺結節を特徴づける。
肺悪性度予測におけるMV-DARモデルの有効性だけでなく,現在のノイズラベル学習モデルよりも優れていることが示唆された。
論文 参考訳（メタデータ） (2021-04-23T07:01:10Z) - RadLex Normalization in Radiology Reports [4.770519061835376]
我々はRadLex用語に様々な放射線学的実体を正規化することを目指している。
自動正規化のための深層学習に基づく2つのNLP手法を提案する。
結果は有望であり、最高の精度(78.44%)はスパン検出器によって得られる。
論文 参考訳（メタデータ） (2020-09-10T19:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。