論文の概要: Can GPT-4V(ision) Serve Medical Applications? Case Studies on GPT-4V for Multimodal Medical Diagnosis

• arxiv url: http://arxiv.org/abs/2310.09909v3
• Date: Mon, 4 Dec 2023 14:13:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 22:01:09.584116
• Title: Can GPT-4V(ision) Serve Medical Applications? Case Studies on GPT-4V for Multimodal Medical Diagnosis
• Title（参考訳）: GPT-4V(ision)は医療応用に有効か? マルチモーダル医療診断のためのgpt-4vのケーススタディ
• Authors: Chaoyi Wu, Jiayu Lei, Qiaoyu Zheng, Weike Zhao, Weixiong Lin, Xiaoman Zhang, Xiao Zhou, Ziheng Zhao, Ya Zhang, Yanfeng Wang and Weidi Xie
• Abstract要約: GPT-4VはOpenAIの最新のマルチモーダル診断モデルである。 評価対象は17の人体システムである。 GPT-4Vは、医用画像のモダリティと解剖学を区別する能力を示す。 疾患の診断と包括的報告作成において重大な課題に直面している。
• 参考スコア（独自算出の注目度）: 59.35504779947686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Driven by the large foundation models, the development of artificial intelligence has witnessed tremendous progress lately, leading to a surge of general interest from the public. In this study, we aim to assess the performance of OpenAI's newest model, GPT-4V(ision), specifically in the realm of multimodal medical diagnosis. Our evaluation encompasses 17 human body systems, including Central Nervous System, Head and Neck, Cardiac, Chest, Hematology, Hepatobiliary, Gastrointestinal, Urogenital, Gynecology, Obstetrics, Breast, Musculoskeletal, Spine, Vascular, Oncology, Trauma, Pediatrics, with images taken from 8 modalities used in daily clinic routine, e.g., X-ray, Computed Tomography (CT), Magnetic Resonance Imaging (MRI), Positron Emission Tomography (PET), Digital Subtraction Angiography (DSA), Mammography, Ultrasound, and Pathology. We probe the GPT-4V's ability on multiple clinical tasks with or without patent history provided, including imaging modality and anatomy recognition, disease diagnosis, report generation, disease localisation. Our observation shows that, while GPT-4V demonstrates proficiency in distinguishing between medical image modalities and anatomy, it faces significant challenges in disease diagnosis and generating comprehensive reports. These findings underscore that while large multimodal models have made significant advancements in computer vision and natural language processing, it remains far from being used to effectively support real-world medical applications and clinical decision-making. All images used in this report can be found in https://github.com/chaoyi-wu/GPT-4V_Medical_Evaluation.
• Abstract（参考訳）: 大規模なファンデーションモデルによって主導された人工知能の開発は、最近大きな進歩を目の当たりにしており、一般大衆の関心が高まっている。 本研究では,openaiの最新モデルであるgpt-4v(ision)の性能をマルチモーダル医療診断の分野で評価することを目的とした。 Our evaluation encompasses 17 human body systems, including Central Nervous System, Head and Neck, Cardiac, Chest, Hematology, Hepatobiliary, Gastrointestinal, Urogenital, Gynecology, Obstetrics, Breast, Musculoskeletal, Spine, Vascular, Oncology, Trauma, Pediatrics, with images taken from 8 modalities used in daily clinic routine, e.g., X-ray, Computed Tomography (CT), Magnetic Resonance Imaging (MRI), Positron Emission Tomography (PET), Digital Subtraction Angiography (DSA), Mammography, Ultrasound, and Pathology. 画像診断,解剖学的認識,疾患診断,レポート生成,疾患局所化など,特許歴の有無に関わらず,複数の臨床課題においてgpt-4vの能力を調べる。 以上の結果から,GPT-4Vは医用画像モダリティと解剖学を区別する能力を示したが,疾患の診断や包括的報告の獲得には大きな課題があった。 これらの結果は、大規模なマルチモーダルモデルがコンピュータビジョンと自然言語処理に大きな進歩を遂げた一方で、現実の医療応用や臨床的意思決定を効果的にサポートするには程遠いことを示している。 このレポートで使用されるすべての画像はhttps://github.com/chaoyi-wu/GPT-4V_Medical_Evaluationで見ることができる。

関連論文リスト

• Exploring the Feasibility of Multimodal Chatbot AI as Copilot in Pathology Diagnostics: Generalist Model's Pitfall [17.9731336178034]
  ChatGPTや他のマルチモーダルモデルは、医療ビジョン言語質問応答などの機能を通じて、医療画像解析を変換する可能性を示している。 本研究は,病理画像におけるGPTの性能をベンチマークし,その診断精度と実単語臨床記録の効率を評価する。 骨疾患におけるGPTの有意な欠損と他の3つの疾患の公平なパフォーマンスを観察した。
  論文  参考訳（メタデータ） (2024-09-04T01:30:05Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• MiniGPT-Med: Large Language Model as a General Interface for Radiology Diagnosis [28.421857904824627]
  MiniGPT-Medは、大規模言語モデルから派生したヴィジュアル言語モデルであり、医学的応用に適したものである。 医療報告生成、視覚的質問応答(VQA)、医療画像内の疾患識別などのタスクを実行することができる。 医療報告生成の最先端性能は,従来の最良モデルよりも19%高い精度で達成される。
  論文  参考訳（メタデータ） (2024-07-04T18:21:10Z)
• GPT-4V(ision) Unsuitable for Clinical Care and Education: A Clinician-Evaluated Assessment [6.321623278767821]
  GPT-4Vは画像の一般的な解釈のために最近開発された。 また, GPT-4Vの熟練度は, 様々な医療条件で評価された。 GPT-4Vの診断精度と臨床的意思決定能力は乏しく、患者の安全性にリスクをもたらす。
  論文  参考訳（メタデータ） (2023-11-14T17:06:09Z)
• Holistic Evaluation of GPT-4V for Biomedical Imaging [113.46226609088194]
  GPT-4Vはコンピュータビジョンのための人工知能の突破口である。 GPT-4Vは,放射線学,腫瘍学,眼科,病理学など16分野にまたがって評価を行った。 以上の結果より,GPT-4Vは異常や解剖学的認識に優れていたが,診断や局所化は困難であった。
  論文  参考訳（メタデータ） (2023-11-10T18:40:44Z)
• BMAD: Benchmarks for Medical Anomaly Detection [51.22159321912891]
  異常検出(AD)は、機械学習とコンピュータビジョンの基本的な研究課題である。 医用画像では、ADはまれな疾患や病態を示す可能性のある異常の検出と診断に特に重要である。 医用画像の異常検出方法を評価するための総合評価ベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-20T20:23:46Z)
• Learned super resolution ultrasound for improved breast lesion characterization [52.77024349608834]
  超高分解能超音波局在顕微鏡は毛細血管レベルでの微小血管のイメージングを可能にする。 この作業では、これらの課題に対処するために、信号構造を効果的に活用するディープニューラルネットワークアーキテクチャを使用します。 トレーニングしたネットワークを利用することで,従来のPSF知識を必要とせず,UCAの分離性も必要とせず,短時間で微小血管構造を復元する。
  論文  参考訳（メタデータ） (2021-07-12T09:04:20Z)
• Review of Artificial Intelligence Techniques in Imaging Data Acquisition, Segmentation and Diagnosis for COVID-19 [71.41929762209328]
  新型コロナウイルス感染症(COVID-19)のパンデミックは世界中に広がっている。 X線やCT(Computerd Tomography)などの医用画像は、世界的な新型コロナウイルス対策に欠かせない役割を担っている。 最近登場した人工知能(AI)技術は、画像ツールの力を強化し、医療専門家を支援する。
  論文  参考訳（メタデータ） (2020-04-06T15:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。