Fugu-MT 論文翻訳(概要): Utility of Multimodal Large Language Models in Analyzing Chest X-ray with Incomplete Contextual Information

論文の概要: Utility of Multimodal Large Language Models in Analyzing Chest X-ray with Incomplete Contextual Information

arxiv url: http://arxiv.org/abs/2410.07111v1
Date: Fri, 20 Sep 2024 01:42:53 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 22:27:10.031241
Title: Utility of Multimodal Large Language Models in Analyzing Chest X-ray with Incomplete Contextual Information
Title（参考訳）: 不完全文脈情報を用いた胸部X線解析におけるマルチモーダル大言語モデルの有用性
Authors: Choonghan Kim, Seonhee Cho, Joo Heung Yoon,
Abstract要約: 大規模言語モデル (LLM) は, 臨床現場での利用が進んでいるが, 不完全な放射線学報告に悩まされることがある。胸部X線撮影では,マルチモーダルLSM(テキストと画像を用いた)が精度と理解を向上できるかどうかを検討した。
参考スコア（独自算出の注目度）: 0.8602553195689513
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Background: Large language models (LLMs) are gaining use in clinical settings, but their performance can suffer with incomplete radiology reports. We tested whether multimodal LLMs (using text and images) could improve accuracy and understanding in chest radiography reports, making them more effective for clinical decision support. Purpose: To assess the robustness of LLMs in generating accurate impressions from chest radiography reports using both incomplete data and multimodal data. Material and Methods: We used 300 radiology image-report pairs from the MIMIC-CXR database. Three LLMs (OpenFlamingo, MedFlamingo, IDEFICS) were tested in both text-only and multimodal formats. Impressions were first generated from the full text, then tested by removing 20%, 50%, and 80% of the text. The impact of adding images was evaluated using chest x-rays, and model performance was compared using three metrics with statistical analysis. Results: The text-only models (OpenFlamingo, MedFlamingo, IDEFICS) had similar performance (ROUGE-L: 0.39 vs. 0.21 vs. 0.21; F1RadGraph: 0.34 vs. 0.17 vs. 0.17; F1CheXbert: 0.53 vs. 0.40 vs. 0.40), with OpenFlamingo performing best on complete text (p<0.001). Performance declined with incomplete data across all models. However, adding images significantly boosted the performance of MedFlamingo and IDEFICS (p<0.001), equaling or surpassing OpenFlamingo, even with incomplete text. Conclusion: LLMs may produce low-quality outputs with incomplete radiology data, but multimodal LLMs can improve reliability and support clinical decision-making. Keywords: Large language model; multimodal; semantic analysis; Chest Radiography; Clinical Decision Support;
Abstract（参考訳）: 背景: 大規模言語モデル (LLM) は, 臨床現場での利用が進んでいるが, 不完全な放射線学報告に悩まされる可能性がある。胸部X線撮影では,マルチモーダルLSM(テキストと画像を用いた)の精度と理解が向上し,臨床診断支援に有効かどうかを検討した。目的:不完全データとマルチモーダルデータの両方を用いて胸部X線写真から正確な印象を発生させるLLMの堅牢性を評価すること。資料と方法:MIMIC-CXRデータベースから300枚のX線画像レポートペアを使用した。 3つのLLM(OpenFlamingo、MedFlamingo、IDEFICS)はテキストのみのフォーマットとマルチモーダルフォーマットの両方でテストされた。印象はまず全文から生成され、それから20%、50%、80%を除去してテストされた。胸部X線を用いて画像の追加効果を評価し, 統計解析による3つの指標を用いてモデル性能を比較した。結果: テキストのみのモデル (OpenFlamingo, MedFlamingo, IDEFICS) も同様のパフォーマンス (ROUGE-L: 0.39 vs. 0.21 vs. 0.21; F1RadGraph: 0.34 vs. 0.17 vs. 0.17; F1CheXbert: 0.53 vs. 0.40 vs. 0.40) で、OpenFlamingoは完全なテキスト(p<0.001。すべてのモデルにまたがる不完全なデータにより、パフォーマンスは低下した。しかし、画像を追加することでMedFlamingoとIDEFICS(p<0.001)のパフォーマンスが大幅に向上し、不完全なテキストであってもOpenFlamingoと同等かそれ以上になった。結論: LLMは不完全な放射線学データで低品質な出力を生成するが, マルチモーダルLSMは信頼性を改善し, 臨床的意思決定を支援することができる。キーワード:大規模言語モデル、マルチモーダル、意味分析、胸部X線撮影、臨床診断支援

関連論文リスト

LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文参考訳（メタデータ） (2024-10-27T16:23:26Z)
R2GenCSR: Retrieving Context Samples for Large Language Model based X-ray Medical Report Generation [7.4871243017824165]
本稿では,新しいコンテキスト誘導型効率的なX線医療報告生成フレームワークを提案する。具体的には、線形複雑度を持つ視覚バックボーンとしてMambaを導入し、得られた性能は強力なTransformerモデルに匹敵する。
論文参考訳（メタデータ） (2024-08-19T07:15:11Z)
The current status of large language models in summarizing radiology report impressions [13.402769727597812]
大きな言語モデル(LLMs)が放射線学レポートの印象を要約する効果は、まだ不明である。北京大学医学部附属病院からCT,PET-CT,超音波の3種類の放射線学報告を収集した。本報告では,ゼロショット,ワンショット,3ショットのプロンプトを完全な実例で構築し,インプレッションを生成する。
論文参考訳（メタデータ） (2024-06-04T09:23:30Z)
CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
論文参考訳（メタデータ） (2024-04-23T17:59:01Z)
MedPromptX: Grounded Multimodal Prompting for Chest X-ray Diagnosis [1.2903829793534272]
胸部X線像は急性および慢性の心肺疾患の予測に一般的に用いられている。構造化された臨床データと統合する努力は、不完全な電子健康記録による課題に直面している。本稿では,MedPromptXについて紹介する。MedPromptXはマルチモーダル大言語モデル(MLLM),少数ショットプロンプト(FP),視覚的グラウンドディング(VG)を統合した最初のモデルである。その結果、MedPromptXのSOTA性能を示し、ベースラインに比べてF1スコアが11%向上した。
論文参考訳（メタデータ） (2024-03-22T19:19:51Z)
RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance [53.20640629352422]
会話型AIツールは、所定の医療画像に対して臨床的に正しい放射線学レポートを生成し、議論することができる。 RaDialogは、ラジオロジーレポート生成と対話ダイアログのための、初めて徹底的に評価され、公開された大きな視覚言語モデルである。本手法は,報告生成における最先端の臨床的正確性を実現し,報告の修正や質問への回答などのインタラクティブなタスクにおいて,印象的な能力を示す。
論文参考訳（メタデータ） (2023-11-30T16:28:40Z)
CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images [3.0757789554622597]
本研究の目的は,胸部X線画像(CXR)を解釈するためのオープンソースのマルチモーダル大言語モデル(CXR-LLAVA)を開発することである。トレーニングでは,592,580個のCXRを収集し,そのうち374,881個のX線写真異常のラベルが得られた。主な病理所見に対する診断成績と,ヒト放射線技師による放射線学的報告の受容性について検討した。
論文参考訳（メタデータ） (2023-10-22T06:22:37Z)
XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文参考訳（メタデータ） (2023-06-13T17:59:59Z)
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文参考訳（メタデータ） (2023-03-30T18:20:00Z)
CLARA: Clinical Report Auto-completion [56.206459591367405]
CLARA(CLinicit Al It Report It Auto-Completion)は、医師のアンカーワードと部分的に完成した文に基づいて、文章でレポートを生成するインタラクティブな方法である。実験では,X線で0.393 CIDEr,0.248 BLEU-4,脳波で0.482 CIDEr,0.491 BLEU-4を得た。
論文参考訳（メタデータ） (2020-02-26T18:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。