論文の概要: Can GPT-4V(ision) Serve Medical Applications? Case Studies on GPT-4V for
Multimodal Medical Diagnosis
- arxiv url: http://arxiv.org/abs/2310.09909v3
- Date: Mon, 4 Dec 2023 14:13:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 22:01:09.584116
- Title: Can GPT-4V(ision) Serve Medical Applications? Case Studies on GPT-4V for
Multimodal Medical Diagnosis
- Title(参考訳): GPT-4V(ision)は医療応用に有効か?
マルチモーダル医療診断のためのgpt-4vのケーススタディ
- Authors: Chaoyi Wu, Jiayu Lei, Qiaoyu Zheng, Weike Zhao, Weixiong Lin, Xiaoman
Zhang, Xiao Zhou, Ziheng Zhao, Ya Zhang, Yanfeng Wang and Weidi Xie
- Abstract要約: GPT-4VはOpenAIの最新のマルチモーダル診断モデルである。
評価対象は17の人体システムである。
GPT-4Vは、医用画像のモダリティと解剖学を区別する能力を示す。
疾患の診断と包括的報告作成において重大な課題に直面している。
- 参考スコア(独自算出の注目度): 59.35504779947686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driven by the large foundation models, the development of artificial
intelligence has witnessed tremendous progress lately, leading to a surge of
general interest from the public. In this study, we aim to assess the
performance of OpenAI's newest model, GPT-4V(ision), specifically in the realm
of multimodal medical diagnosis. Our evaluation encompasses 17 human body
systems, including Central Nervous System, Head and Neck, Cardiac, Chest,
Hematology, Hepatobiliary, Gastrointestinal, Urogenital, Gynecology,
Obstetrics, Breast, Musculoskeletal, Spine, Vascular, Oncology, Trauma,
Pediatrics, with images taken from 8 modalities used in daily clinic routine,
e.g., X-ray, Computed Tomography (CT), Magnetic Resonance Imaging (MRI),
Positron Emission Tomography (PET), Digital Subtraction Angiography (DSA),
Mammography, Ultrasound, and Pathology. We probe the GPT-4V's ability on
multiple clinical tasks with or without patent history provided, including
imaging modality and anatomy recognition, disease diagnosis, report generation,
disease localisation.
Our observation shows that, while GPT-4V demonstrates proficiency in
distinguishing between medical image modalities and anatomy, it faces
significant challenges in disease diagnosis and generating comprehensive
reports. These findings underscore that while large multimodal models have made
significant advancements in computer vision and natural language processing, it
remains far from being used to effectively support real-world medical
applications and clinical decision-making.
All images used in this report can be found in
https://github.com/chaoyi-wu/GPT-4V_Medical_Evaluation.
- Abstract(参考訳): 大規模なファンデーションモデルによって主導された人工知能の開発は、最近大きな進歩を目の当たりにしており、一般大衆の関心が高まっている。
本研究では,openaiの最新モデルであるgpt-4v(ision)の性能をマルチモーダル医療診断の分野で評価することを目的とした。
Our evaluation encompasses 17 human body systems, including Central Nervous System, Head and Neck, Cardiac, Chest, Hematology, Hepatobiliary, Gastrointestinal, Urogenital, Gynecology, Obstetrics, Breast, Musculoskeletal, Spine, Vascular, Oncology, Trauma, Pediatrics, with images taken from 8 modalities used in daily clinic routine, e.g., X-ray, Computed Tomography (CT), Magnetic Resonance Imaging (MRI), Positron Emission Tomography (PET), Digital Subtraction Angiography (DSA), Mammography, Ultrasound, and Pathology.
画像診断,解剖学的認識,疾患診断,レポート生成,疾患局所化など,特許歴の有無に関わらず,複数の臨床課題においてgpt-4vの能力を調べる。
以上の結果から,GPT-4Vは医用画像モダリティと解剖学を区別する能力を示したが,疾患の診断や包括的報告の獲得には大きな課題があった。
これらの結果は、大規模なマルチモーダルモデルがコンピュータビジョンと自然言語処理に大きな進歩を遂げた一方で、現実の医療応用や臨床的意思決定を効果的にサポートするには程遠いことを示している。
このレポートで使用されるすべての画像はhttps://github.com/chaoyi-wu/GPT-4V_Medical_Evaluationで見ることができる。
関連論文リスト
- Training Small Multimodal Models to Bridge Biomedical Competency Gap: A
Case Study in Radiology Imaging [114.43429928419755]
バイオメディカル・コンピテンシー・ギャップを橋渡しするオープンソース小型マルチモーダル・モデル(SMM)の訓練について検討する。
LLaVA-Radは高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Empowering Medical Imaging with Artificial Intelligence: A Review of
Machine Learning Approaches for the Detection, and Segmentation of COVID-19
Using Radiographic and Tomographic Images [2.232567376976564]
2019年以降、コロナウイルスとその新規株の世界的な普及により、新たな感染が急増している。
X線およびCTイメージング技術の使用は、新型コロナウイルスの診断と管理に重要である。
本稿では、機械学習(ML)を用いた新型コロナウイルスの診断のための医療画像の改善手法に焦点を当てた。
論文 参考訳(メタデータ) (2024-01-13T09:17:39Z) - Artificial Intelligence in Assessing Cardiovascular Diseases and Risk
Factors via Retinal Fundus Images: A Review of the Last Decade [8.782827397923757]
心臓血管疾患(CVDs)は、世界規模で死に至る主要な原因であり続けている。
人工知能(AI)技術の応用は、CVDの様々な側面を評価することで大きな人気を集めている。
心臓の機能をよりよく理解し、微小血管の特徴と機能に基づく変化を予想するために、研究者は現在、AIと非侵襲網膜スキャンの統合を検討している。
論文 参考訳(メタデータ) (2023-11-11T13:09:11Z) - Holistic Evaluation of GPT-4V for Biomedical Imaging [113.46226609088194]
GPT-4Vはコンピュータビジョンのための人工知能の突破口である。
GPT-4Vは,放射線学,腫瘍学,眼科,病理学など16分野にまたがって評価を行った。
以上の結果より,GPT-4Vは異常や解剖学的認識に優れていたが,診断や局所化は困難であった。
論文 参考訳(メタデータ) (2023-11-10T18:40:44Z) - Case Studies on X-Ray Imaging, MRI and Nuclear Imaging [0.0]
我々は、AIベースのアプローチ、特にCNN(Convolutional Neural Networks)の使用が、医療画像技術による疾患検出にどのように役立つかに焦点を当てる。
CNNは、生の入力画像から特徴を抽出できるため、画像解析の一般的な手法である。
論文 参考訳(メタデータ) (2023-06-03T09:05:35Z) - BiomedGPT: A Unified and Generalist Biomedical Generative Pre-trained
Transformer for Vision, Language, and Multimodal Tasks [67.32172830174797]
バイオメディカルタスクのための,初のオープンソースで汎用的なビジュアル言語AIであるBiomedGPTを提案する。
26のデータセットで5つの臨床的に重要なタスクに対して16の最先端の結果が得られた。
論文 参考訳(メタデータ) (2023-05-26T17:14:43Z) - MAG-Net: Mutli-task attention guided network for brain tumor
segmentation and classification [0.9176056742068814]
本稿では,MRI画像を用いて脳腫瘍領域の分類と分類を行うマルチタスク注意誘導エンコーダネットワーク(MAG-Net)を提案する。
このモデルは既存の最先端モデルと比較して有望な結果を得た。
論文 参考訳(メタデータ) (2021-07-26T16:51:00Z) - Learned super resolution ultrasound for improved breast lesion
characterization [52.77024349608834]
超高分解能超音波局在顕微鏡は毛細血管レベルでの微小血管のイメージングを可能にする。
この作業では、これらの課題に対処するために、信号構造を効果的に活用するディープニューラルネットワークアーキテクチャを使用します。
トレーニングしたネットワークを利用することで,従来のPSF知識を必要とせず,UCAの分離性も必要とせず,短時間で微小血管構造を復元する。
論文 参考訳(メタデータ) (2021-07-12T09:04:20Z) - Review of Artificial Intelligence Techniques in Imaging Data
Acquisition, Segmentation and Diagnosis for COVID-19 [71.41929762209328]
新型コロナウイルス感染症(COVID-19)のパンデミックは世界中に広がっている。
X線やCT(Computerd Tomography)などの医用画像は、世界的な新型コロナウイルス対策に欠かせない役割を担っている。
最近登場した人工知能(AI)技術は、画像ツールの力を強化し、医療専門家を支援する。
論文 参考訳(メタデータ) (2020-04-06T15:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。