論文の概要: The Potential and Pitfalls of using a Large Language Model such as ChatGPT or GPT-4 as a Clinical Assistant

• arxiv url: http://arxiv.org/abs/2307.08152v1
• Date: Sun, 16 Jul 2023 21:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 15:23:41.650225
• Title: The Potential and Pitfalls of using a Large Language Model such as ChatGPT or GPT-4 as a Clinical Assistant
• Title（参考訳）: ChatGPT や GPT-4 などの大言語モデルを用いた臨床助手の可能性と問題点
• Authors: Jingqing Zhang, Kai Sun, Akshay Jagadeesh, Mahta Ghahfarokhi, Deepa Gupta, Ashok Gupta, Vibhor Gupta, Yike Guo
• Abstract要約: ChatGPTとGPT-4はいくつかの医療領域で有望な性能を示した。 われわれはChatGPTとGPT-4を用いて2つの分析を行った。 患者の評価では、GPT-4は4回に3回、正確に診断できる。
• 参考スコア（独自算出の注目度）: 12.017491902296836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have demonstrated promising performance of ChatGPT and GPT-4 on several medical domain tasks. However, none have assessed its performance using a large-scale real-world electronic health record database, nor have evaluated its utility in providing clinical diagnostic assistance for patients across a full range of disease presentation. We performed two analyses using ChatGPT and GPT-4, one to identify patients with specific medical diagnoses using a real-world large electronic health record database and the other, in providing diagnostic assistance to healthcare workers in the prospective evaluation of hypothetical patients. Our results show that GPT-4 across disease classification tasks with chain of thought and few-shot prompting can achieve performance as high as 96% F1 scores. For patient assessment, GPT-4 can accurately diagnose three out of four times. However, there were mentions of factually incorrect statements, overlooking crucial medical findings, recommendations for unnecessary investigations and overtreatment. These issues coupled with privacy concerns, make these models currently inadequate for real world clinical use. However, limited data and time needed for prompt engineering in comparison to configuration of conventional machine learning workflows highlight their potential for scalability across healthcare applications.
• Abstract（参考訳）: 近年の研究では、いくつかの医療領域におけるChatGPTとGPT-4の有望な性能が示されている。 しかし、大規模な実世界の電子健康記録データベースを用いて、そのパフォーマンスを評価することはなく、また、多種多様な疾患のプレゼンテーションで患者に臨床診断支援を提供することの有用性も評価していない。 chatgptとgpt-4を用いた2つの分析を行った。1つは実世界の大規模電子カルテデータベースを用いて特定の医療診断を受けた患者を同定し、もう1つは医療従事者に対して仮説的評価のための診断支援を提供するものである。 以上の結果から,GPT-4は思考の連鎖と数発のプロンプトを伴い,F1スコアの96%を達成できた。 患者評価では、gpt-4は4回中3回正確に診断できる。 しかし、重大な医学的所見を見落とし、不必要な調査や過剰な治療の勧告など、事実的に誤記の言及があった。 これらの問題とプライバシーの懸念が組み合わさって、これらのモデルが現実の臨床試験に不適切になっている。 しかし、従来の機械学習ワークフローの構成と比較して、プロンプトエンジニアリングに必要なデータと時間に制限があり、医療アプリケーション間のスケーラビリティの可能性を強調している。

関連論文リスト

• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• Digital Diagnostics: The Potential Of Large Language Models In Recognizing Symptoms Of Common Illnesses [0.2995925627097048]
  本研究は,患者症状を解釈し,一般的な疾患に適合する診断を判定することにより,各モデルの診断能力を評価する。 GPT-4は、医療データに基づくトレーニングの深部および完全な履歴から高い診断精度を示す。 Geminiは、病気のトリアージにおいて重要なツールとして高い精度で実行し、信頼性のあるモデルになる可能性を示している。
  論文  参考訳（メタデータ） (2024-05-09T15:12:24Z)
• Enhancing Medical Task Performance in GPT-4V: A Comprehensive Study on Prompt Engineering Strategies [28.98518677093905]
  OpenAIの最新大型ビジョン言語モデルであるGPT-4Vは、医療応用の可能性についてかなりの関心を集めている。 最近の研究や内部レビューでは、専門的な医療業務における過小評価が強調されている。 本稿では,GPT-4Vの医療機能の境界,特に内視鏡,CT,MRIなどの複雑な画像データ処理について検討する。
  論文  参考訳（メタデータ） (2023-12-07T15:05:59Z)
• Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine [89.46836590149883]
  本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。 イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。 Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-28T03:16:12Z)
• Holistic Evaluation of GPT-4V for Biomedical Imaging [113.46226609088194]
  GPT-4Vはコンピュータビジョンのための人工知能の突破口である。 GPT-4Vは,放射線学,腫瘍学,眼科,病理学など16分野にまたがって評価を行った。 以上の結果より,GPT-4Vは異常や解剖学的認識に優れていたが,診断や局所化は困難であった。
  論文  参考訳（メタデータ） (2023-11-10T18:40:44Z)
• A Systematic Evaluation of GPT-4V's Multimodal Capability for Medical Image Analysis [87.25494411021066]
  医用画像解析のためのGPT-4Vのマルチモーダル機能の評価を行った。 GPT-4Vは医用画像の理解に優れ、高品質な放射線診断レポートを生成する。 医用視覚接地の性能は大幅に改善する必要があることが判明した。
  論文  参考訳（メタデータ） (2023-10-31T11:39:09Z)
• Can GPT-4V(ision) Serve Medical Applications? Case Studies on GPT-4V for Multimodal Medical Diagnosis [59.35504779947686]
  GPT-4VはOpenAIの最新のマルチモーダル診断モデルである。 評価対象は17の人体システムである。 GPT-4Vは、医用画像のモダリティと解剖学を区別する能力を示す。 疾患の診断と包括的報告作成において重大な課題に直面している。
  論文  参考訳（メタデータ） (2023-10-15T18:32:27Z)
• The Case Records of ChatGPT: Language Models and Complex Clinical Questions [0.35157846138914034]
  臨床診断における大規模言語AIモデル GPT4 と GPT3.5 の精度について検討した。 GPT4, GPT3.5は1回の試行で26%, 22%, 3回の検行で46%, 42%の精度で正しい診断を行った。
  論文  参考訳（メタデータ） (2023-05-09T16:58:32Z)
• Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task [49.50140712943701]
  NLIタスクにおけるChatGPT/GPT-4の性能評価を行い、タスク関連データサンプルに特化して微調整された他のモデルと比較する。 また,ChatGPT/GPT-4の推論能力について,様々な推論難易度を導入して総合的な調査を行った。
  論文  参考訳（メタデータ） (2023-04-18T17:21:48Z)
• Capabilities of GPT-4 on Medical Challenge Problems [23.399857819743158]
  GPT-4は、訓練や臨床課題の解決を通じて医療上の問題に特化しない汎用モデルである。 本稿では,GPT-4の総合的な評価を医学的能力試験とベンチマーク・データセットで行う。
  論文  参考訳（メタデータ） (2023-03-20T16:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。