論文の概要: Capabilities of GPT-4 on Medical Challenge Problems

• arxiv url: http://arxiv.org/abs/2303.13375v2
• Date: Wed, 12 Apr 2023 16:48:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 17:30:30.240087
• Title: Capabilities of GPT-4 on Medical Challenge Problems
• Title（参考訳）: GPT-4の医学的課題
• Authors: Harsha Nori, Nicholas King, Scott Mayer McKinney, Dean Carignan, Eric Horvitz
• Abstract要約: GPT-4は、訓練や臨床課題の解決を通じて医療上の問題に特化しない汎用モデルである。 本稿では,GPT-4の総合的な評価を医学的能力試験とベンチマーク・データセットで行う。
• 参考スコア（独自算出の注目度）: 23.399857819743158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in natural language understanding and generation across various domains, including medicine. We present a comprehensive evaluation of GPT-4, a state-of-the-art LLM, on medical competency examinations and benchmark datasets. GPT-4 is a general-purpose model that is not specialized for medical problems through training or engineered to solve clinical tasks. Our analysis covers two sets of official practice materials for the USMLE, a three-step examination program used to assess clinical competency and grant licensure in the United States. We also evaluate performance on the MultiMedQA suite of benchmark datasets. Beyond measuring model performance, experiments were conducted to investigate the influence of test questions containing both text and images on model performance, probe for memorization of content during training, and study probability calibration, which is of critical importance in high-stakes applications like medicine. Our results show that GPT-4, without any specialized prompt crafting, exceeds the passing score on USMLE by over 20 points and outperforms earlier general-purpose models (GPT-3.5) as well as models specifically fine-tuned on medical knowledge (Med-PaLM, a prompt-tuned version of Flan-PaLM 540B). In addition, GPT-4 is significantly better calibrated than GPT-3.5, demonstrating a much-improved ability to predict the likelihood that its answers are correct. We also explore the behavior of the model qualitatively through a case study that shows the ability of GPT-4 to explain medical reasoning, personalize explanations to students, and interactively craft new counterfactual scenarios around a medical case. Implications of the findings are discussed for potential uses of GPT-4 in medical education, assessment, and clinical practice, with appropriate attention to challenges of accuracy and safety.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、医学を含む様々な領域にわたる自然言語理解と生成において顕著な能力を示した。 本稿では,最先端llmであるgpt-4の医療能力検査とベンチマークデータセットに関する包括的評価を行う。 gpt-4は、医学的な問題に対して訓練や臨床課題の解決に特化していない汎用モデルである。 米国における臨床能力の評価とライセンス付与のための3段階の試験プログラムであるUSMLEの2つの公式実践資料について分析した。 また,ベンチマークデータセットのMultiMedQAスイートの性能評価を行った。 実験では, モデル性能の測定以外にも, テキストと画像を含むテスト質問がモデル性能に及ぼす影響, トレーニング中の内容の記憶の探究, 医療などのハイテイクな応用において重要な確率校正について検討した。 以上の結果から, GPT-4は, 特別なプロンプト工法を使わずにUSMLEのパススコアを20点以上越え, 先進汎用モデル(GPT-3.5)と, 医療知識に特化されたモデル(Flan-PaLM 540Bのプロンプト調整版であるMed-PaLM)よりも優れていた。 さらに、GPT-4 は GPT-3.5 よりも格付けがかなり良く、その答えが正しい可能性を予測する能力が大幅に改善されている。 また,GPT-4による医学的推論の説明,学生への説明のパーソナライズ,医療事例に関する新たな反現実的シナリオを対話的に構築する能力を示すケーススタディを通じて,モデルの質的な振る舞いを探索する。 本研究の意義は,医学教育,評価,臨床実習におけるGPT-4の有用性について考察し,精度と安全性の課題に適切な注意を払っている。

関連論文リスト

• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• GPT-4 passes most of the 297 written Polish Board Certification Examinations [0.5461938536945723]
  本研究では,ポーランド委員会認定試験(Pa'nstwowy Egzamin Specjalizacyjny, PES)における3つの生成事前学習変圧器(GPT)モデルの性能評価を行った。 GPTモデルは、特定の専門分野に関する試験において卓越した性能を示しながら、他の分野では完全に失敗するなど、大きく変化した。
  論文  参考訳（メタデータ） (2024-04-29T09:08:22Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine [89.46836590149883]
  本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。 イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。 Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-28T03:16:12Z)
• Holistic Evaluation of GPT-4V for Biomedical Imaging [113.46226609088194]
  GPT-4Vはコンピュータビジョンのための人工知能の突破口である。 GPT-4Vは,放射線学,腫瘍学,眼科,病理学など16分野にまたがって評価を行った。 以上の結果より,GPT-4Vは異常や解剖学的認識に優れていたが,診断や局所化は困難であった。
  論文  参考訳（メタデータ） (2023-11-10T18:40:44Z)
• A Systematic Evaluation of GPT-4V's Multimodal Capability for Medical Image Analysis [87.25494411021066]
  医用画像解析のためのGPT-4Vのマルチモーダル機能の評価を行った。 GPT-4Vは医用画像の理解に優れ、高品質な放射線診断レポートを生成する。 医用視覚接地の性能は大幅に改善する必要があることが判明した。
  論文  参考訳（メタデータ） (2023-10-31T11:39:09Z)
• Multimodal ChatGPT for Medical Applications: an Experimental Study of GPT-4V [20.84152508192388]
  我々は、最先端のマルチモーダル言語モデルであるGPT-4 with Vision(GPT-4V)の能力について批判的に評価する。 本実験は,画像と組み合わせた問診におけるGPT-4Vの習熟度を,病理と放射線学の両方のデータセットを用いて徹底的に評価した。 精度試験の結果、GPT-4Vの現在のバージョンは現実世界の診断には推奨されないことがわかった。
  論文  参考訳（メタデータ） (2023-10-29T16:26:28Z)
• The Potential and Pitfalls of using a Large Language Model such as ChatGPT or GPT-4 as a Clinical Assistant [12.017491902296836]
  ChatGPTとGPT-4はいくつかの医療領域で有望な性能を示した。 われわれはChatGPTとGPT-4を用いて2つの分析を行った。 患者の評価では、GPT-4は4回に3回、正確に診断できる。
  論文  参考訳（メタデータ） (2023-07-16T21:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。