論文の概要: GEMeX: A Large-Scale, Groundable, and Explainable Medical VQA Benchmark for Chest X-ray Diagnosis

• arxiv url: http://arxiv.org/abs/2411.16778v1
• Date: Mon, 25 Nov 2024 07:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:37:04.005069
• Title: GEMeX: A Large-Scale, Groundable, and Explainable Medical VQA Benchmark for Chest X-ray Diagnosis
• Title（参考訳）: GEMeX:胸部X線診断のための大規模でグラウンドブルで説明可能な医療用VQAベンチマーク
• Authors: Bo Liu, Ke Zou, Liming Zhan, Zexin Lu, Xiaoyu Dong, Yidi Chen, Chengqiang Xie, Jiannong Cao, Xiao-Ming Wu, Huazhu Fu,
• Abstract要約: 胸部X線診断 (GEMeX) のための大規模, 接地可能, 説明可能な医療用VQAベンチマークを導入する。 マルチモーダルな説明可能性メカニズムは、質問対ごとに詳細な視覚的およびテキスト的説明を提供する。 4つの異なる質問タイプ、オープンエンド、クローズドエンド、シングルチョイス、マルチチョイスは、多様な臨床ニーズを反映している。
• 参考スコア（独自算出の注目度）: 44.76975131560712
• License:
• Abstract: Medical Visual Question Answering (VQA) is an essential technology that integrates computer vision and natural language processing to automatically respond to clinical inquiries about medical images. However, current medical VQA datasets exhibit two significant limitations: (1) they often lack visual and textual explanations for answers, which impedes their ability to satisfy the comprehension needs of patients and junior doctors; (2) they typically offer a narrow range of question formats, inadequately reflecting the diverse requirements encountered in clinical scenarios. These limitations pose significant challenges to the development of a reliable and user-friendly Med-VQA system. To address these challenges, we introduce a large-scale, Groundable, and Explainable Medical VQA benchmark for chest X-ray diagnosis (GEMeX), featuring several innovative components: (1) A multi-modal explainability mechanism that offers detailed visual and textual explanations for each question-answer pair, thereby enhancing answer comprehensibility; (2) Four distinct question types, open-ended, closed-ended, single-choice, and multiple-choice, that better reflect diverse clinical needs. We evaluated 10 representative large vision language models on GEMeX and found that they underperformed, highlighting the dataset's complexity. However, after fine-tuning a baseline model using the training set, we observed a significant performance improvement, demonstrating the dataset's effectiveness. The project is available at www.med-vqa.com/GEMeX.
• Abstract（参考訳）: VQA(Messical Visual Question Answering)は、コンピュータビジョンと自然言語処理を統合し、医療画像に関する臨床検査に自動的に応答する技術である。 しかしながら、現在の医療用VQAデータセットには、(1) 患者やジュニア医師の理解のニーズを満たす能力を妨げる視覚的・テキスト的説明が欠けていること、(2) 臨床シナリオで発生する多様な要件を不適切に反映した、限られた質問形式を提供すること、の2つの大きな制限がある。 これらの制限は、信頼性とユーザフレンドリーなMed-VQAシステムの開発に重大な課題をもたらす。 これらの課題に対処するため, 胸部X線診断のための大規模, 接地可能, 説明可能な医療用VQAベンチマーク (GEMeX) を導入し, 1) 多様な臨床ニーズを反映した, 4つの異なる質問タイプ, オープンエンド, クローズドエンド, シングルチョイス, マルチチョイスについて, より詳細な視覚的およびテキスト的説明を提供するマルチモーダルな説明可能性メカニズムを提案する。 GEMeX上で10の代表的な視覚言語モデルを評価し,データセットの複雑さを強調した。 しかし,トレーニングセットを用いてベースラインモデルを微調整した結果,データセットの有効性を実証し,大幅な性能向上が見られた。 このプロジェクトはwww.med-vqa.com/GEMeXで入手できる。

関連論文リスト

• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions [19.436999992810797]
  JAMAクリニカルチャレンジとメドブルレットという2つの新しいデータセットを構築した。 JAMAクリニカルチャレンジは、挑戦的な臨床ケースに基づく質問から成り、メドブルレットはシミュレートされた臨床質問から成り立っている。 各種のプロンプトを用いて2つのデータセット上で7つのLSMを評価する。
  論文  参考訳（メタデータ） (2024-02-28T05:44:41Z)
• Free Form Medical Visual Question Answering in Radiology [3.495246564946556]
  医療用ビジュアル質問回答の研究は、2018年以来、勢いを増している。 本研究は,放射線画像の効果的表現とマルチモーダル表現の連成学習について考察する。 我々のモデルは、より複雑なアーキテクチャでトップ1の精度79.55%を実現し、現在の最先端モデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-01-23T20:26:52Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Masked Vision and Language Pre-training with Unimodal and Multimodal Contrastive Losses for Medical Visual Question Answering [7.669872220702526]
  本稿では,入力画像とテキストの非モーダル・マルチモーダル特徴表現を学習する,新しい自己教師型アプローチを提案する。 提案手法は,3つの医用VQAデータセット上での最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-07-11T15:00:11Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
  MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。 本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。 PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
  論文  参考訳（メタデータ） (2023-05-17T17:50:16Z)
• MuVAM: A Multi-View Attention-based Model for Medical Visual Question Answering [2.413694065650786]
  本稿では,医療用視覚質問応答のためのマルチビューアテンションベースモデル(MuVAM)を提案する。 医用画像の高レベルの意味をテキスト記述に基づいて統合する。 2つのデータセットの実験では、MuVAMの有効性が最先端の手法を超えていることが示されている。
  論文  参考訳（メタデータ） (2021-07-07T13:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。