論文の概要: GPT-4V Cannot Generate Radiology Reports Yet

• arxiv url: http://arxiv.org/abs/2407.12176v3
• Date: Wed, 6 Nov 2024 20:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 20:48:00.742950
• Title: GPT-4V Cannot Generate Radiology Reports Yet
• Title（参考訳）: GPT-4Vは放射線学のレポートをまだ生成できない
• Authors: Yuyang Jiang, Chacha Chen, Dang Nguyen, Benjamin M. Mervak, Chenhao Tan,
• Abstract要約: GPT-4Vの強いマルチモーダル能力は、放射線学レポート作成を自動化するためにそれを使うことに関心を喚起する。 我々は, GPT-4V を用いた報告を異なるプロンプト戦略により直接生成し, 語彙指標と臨床効果指標の両方で異常を生じさせることを試みた。
• 参考スコア（独自算出の注目度）: 25.331936045860516
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: GPT-4V's purported strong multimodal abilities raise interests in using it to automate radiology report writing, but there lacks thorough evaluations. In this work, we perform a systematic evaluation of GPT-4V in generating radiology reports on two chest X-ray report datasets: MIMIC-CXR and IU X-Ray. We attempt to directly generate reports using GPT-4V through different prompting strategies and find that it fails terribly in both lexical metrics and clinical efficacy metrics. To understand the low performance, we decompose the task into two steps: 1) the medical image reasoning step of predicting medical condition labels from images; and 2) the report synthesis step of generating reports from (groundtruth) conditions. We show that GPT-4V's performance in image reasoning is consistently low across different prompts. In fact, the distributions of model-predicted labels remain constant regardless of which groundtruth conditions are present on the image, suggesting that the model is not interpreting chest X-rays meaningfully. Even when given groundtruth conditions in report synthesis, its generated reports are less correct and less natural-sounding than a finetuned LLaMA-2. Altogether, our findings cast doubt on the viability of using GPT-4V in a radiology workflow.
• Abstract（参考訳）: GPT-4Vの強いマルチモーダル能力は、放射線学レポート作成の自動化に関心を喚起するが、徹底的な評価は得られていない。 本研究では,2つの胸部X線レポートデータセット(MIMIC-CXRとIU X-Ray)について,GPT-4Vの系統的評価を行った。 我々は, GPT-4V を用いた報告を異なるプロンプト戦略により直接生成し, 語彙指標と臨床効果指標の両方で異常を生じさせることを試みた。 低パフォーマンスを理解するために、タスクを2つのステップに分解します。 1)画像から医療条件ラベルを予測するための医用画像推論ステップ 2)(地中)条件から報告を生成するための報告合成ステップ。 画像推論におけるGPT-4Vの性能は、異なるプロンプト間で一貫して低いことを示す。 実際、モデル予測ラベルの分布は、画像上にどの基底条件が存在するかに関わらず一定であり、モデルが胸部X線を有意に解釈していないことを示唆している。 レポート合成における基底条件が与えられたとしても、その生成した報告は微調整されたLLaMA-2よりも正確で自然音の少ないものである。 また,GPT-4Vを放射線学のワークフローで用いる可能性についても疑念を呈していた。

関連論文リスト

• Preference Fine-Tuning for Factuality in Chest X-Ray Interpretation Models Without Human Feedback [10.826651024680169]
  放射線技師は医療画像を医療報告に翻訳することで重要な役割を担っている。 視覚言語モデル(VLM)を用いた自動アプローチは、アシスタントとして有望であるが、非常に高い精度を必要とする。 胸部X線(CXR)レポート生成に着目し,放射線学におけるVLMの自動選好アライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T16:07:11Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• Pragmatic Radiology Report Generation [39.96409366755059]
  胸部X線で肺炎がみつからなかった場合、この陰性な観察を報告すべきか、省略すべきか。 本研究では,モデル幻覚の源として画像から推測不能な情報を識別する枠組みを開発し,基礎的報告のクリーニングによってそれらを制限する。
  論文  参考訳（メタデータ） (2023-11-28T19:00:03Z)
• Exploring the Boundaries of GPT-4 in Radiology [46.30976153809968]
  GPT-4は、複雑なコンテキストにおいて、時折エラーしか発生しない十分なレベルの放射線学知識を持っている。 結果の要約では、GPT-4の出力は、既存の手書きのインプレッションと総合的に比較できる。
  論文  参考訳（メタデータ） (2023-10-23T05:13:03Z)
• Replace and Report: NLP Assisted Radiology Report Generation [31.309987297324845]
  無線画像から放射線学レポートを生成するためのテンプレートベースの手法を提案する。 胸部X線検査では, 異常所見の少ない文章を作成し, 正常な報告テンプレートに置き換えることにより, 胸部X線所見を初めて生成する試みである。
  論文  参考訳（メタデータ） (2023-06-19T10:04:42Z)
• DeltaNet:Conditional Medical Report Generation for COVID-19 Diagnosis [54.93879264615525]
  医療報告を自動生成するDeltaNetを提案する。 DeltaNetはレポートを生成するために3つのステップを採用している。 DeltaNetは最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-11-12T07:41:03Z)
• Transfer learning with weak labels from radiology reports: application to glioma change detection [0.2010294990327175]
  弱いラベル(不正確だが高速に生成するアノテーション)とトランスファーラーニング(TL)の併用を提案する。 具体的には、ソースドメインとターゲットドメインが同一であるが、ラベルシフトによってタスクが異なるインダクティブTLについて検討する。 低容量VGGと高容量SEResNeXtを比較し,モデルサイズとTLの関係について検討した。
  論文  参考訳（メタデータ） (2022-10-18T09:15:27Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Radiomics-Guided Global-Local Transformer for Weakly Supervised Pathology Localization in Chest X-Rays [65.88435151891369]
  Radiomics-Guided Transformer (RGT)は、テキストトグロバル画像情報と、テキストトグロバル情報とを融合する。 RGTは、画像トランスフォーマーブランチ、放射能トランスフォーマーブランチ、および画像と放射線情報を集約する融合層から構成される。
  論文  参考訳（メタデータ） (2022-07-10T06:32:56Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。