論文の概要: Can LLMs like GPT-4 outperform traditional AI tools in dementia diagnosis? Maybe, but not today

• arxiv url: http://arxiv.org/abs/2306.01499v1
• Date: Fri, 2 Jun 2023 12:47:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 15:01:49.028329
• Title: Can LLMs like GPT-4 outperform traditional AI tools in dementia diagnosis? Maybe, but not today
• Title（参考訳）: GPT-4のようなLLMは認知症診断において従来のAIツールより優れているか? おそらく、しかし今日ではない
• Authors: Zhuo Wang, Rongzhen Li, Bowen Dong, Jie Wang, Xiuxing Li, Ning Liu, Chenhui Mao, Wei Zhang, Liling Dong, Jing Gao, Jianyong Wang
• Abstract要約: GPT-4は、共通自然言語処理(NLP)タスクにおいて顕著な機能を持つ。 また、様々な専門的および学術的なベンチマークで人間レベルのパフォーマンスを示す。 認知症診断におけるGPT-4の限界について考察し,GPT-4の今後の研究方向性を提案する。
• 参考スコア（独自算出の注目度）: 15.84974113606464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent investigations show that large language models (LLMs), specifically GPT-4, not only have remarkable capabilities in common Natural Language Processing (NLP) tasks but also exhibit human-level performance on various professional and academic benchmarks. However, whether GPT-4 can be directly used in practical applications and replace traditional artificial intelligence (AI) tools in specialized domains requires further experimental validation. In this paper, we explore the potential of LLMs such as GPT-4 to outperform traditional AI tools in dementia diagnosis. Comprehensive comparisons between GPT-4 and traditional AI tools are conducted to examine their diagnostic accuracy in a clinical setting. Experimental results on two real clinical datasets show that, although LLMs like GPT-4 demonstrate potential for future advancements in dementia diagnosis, they currently do not surpass the performance of traditional AI tools. The interpretability and faithfulness of GPT-4 are also evaluated by comparison with real doctors. We discuss the limitations of GPT-4 in its current state and propose future research directions to enhance GPT-4 in dementia diagnosis.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(特にGPT-4)が、共通自然言語処理(NLP)タスクにおいて顕著な能力を持つだけでなく、様々な専門的・学術的なベンチマークで人間レベルの性能を示すことが示されている。 しかし、GPT-4が実際に利用でき、専門分野における従来の人工知能(AI)ツールを置き換えるためには、さらなる実験的検証が必要である。 本稿では,認知症診断における従来のAIツールよりも優れたLCM(GPT-4)の可能性を探求する。 GPT-4と従来のAIツールの総合的な比較を行い,臨床現場での診断精度を検討した。 2つの実際の臨床データセットの実験結果から、GPT-4のようなLCMは認知症診断の今後の進歩の可能性を示しているが、それらは従来のAIツールの性能を超えていないことが示されている。 また, GPT-4の解釈性および忠実度を, 実際の医師との比較により評価した。 認知症診断におけるGPT-4の限界について検討し,GPT-4の今後の研究方向性を提案する。

関連論文リスト

• Prompting Large Language Models for Supporting the Differential Diagnosis of Anemia [0.8602553195689511]
  実際には、臨床医は、検査、観察、イメージングなどの一連の手順に従って診断を行う。 診断決定に到達するための経路は、専門家組織が作成したガイドラインによって文書化され、これらの手順を通じて臨床医が正しい診断に到達するよう指導する。 本研究の目的は,臨床ガイドラインで得られるものと同様の経路を発達させることであった。 我々は3つのLarge Language Model (LLMs) -Generative Pretrained Transformer 4 (GPT-4)、Large Language Model Meta AI (LLaMA)、Mistral - を、貧血とそのサブタイプを識別するための合成的で現実的なデータセットでテストした。
  論文  参考訳（メタデータ） (2024-09-20T06:47:36Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Enhancing Medical Task Performance in GPT-4V: A Comprehensive Study on Prompt Engineering Strategies [28.98518677093905]
  OpenAIの最新大型ビジョン言語モデルであるGPT-4Vは、医療応用の可能性についてかなりの関心を集めている。 最近の研究や内部レビューでは、専門的な医療業務における過小評価が強調されている。 本稿では,GPT-4Vの医療機能の境界,特に内視鏡,CT,MRIなどの複雑な画像データ処理について検討する。
  論文  参考訳（メタデータ） (2023-12-07T15:05:59Z)
• Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine [89.46836590149883]
  本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。 イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。 Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-28T03:16:12Z)
• GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
  本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。 我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。 言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
  論文  参考訳（メタデータ） (2023-11-27T11:29:10Z)
• Holistic Evaluation of GPT-4V for Biomedical Imaging [113.46226609088194]
  GPT-4Vはコンピュータビジョンのための人工知能の突破口である。 GPT-4Vは,放射線学,腫瘍学,眼科,病理学など16分野にまたがって評価を行った。 以上の結果より,GPT-4Vは異常や解剖学的認識に優れていたが,診断や局所化は困難であった。
  論文  参考訳（メタデータ） (2023-11-10T18:40:44Z)
• Exploring the Boundaries of GPT-4 in Radiology [46.30976153809968]
  GPT-4は、複雑なコンテキストにおいて、時折エラーしか発生しない十分なレベルの放射線学知識を持っている。 結果の要約では、GPT-4の出力は、既存の手書きのインプレッションと総合的に比較できる。
  論文  参考訳（メタデータ） (2023-10-23T05:13:03Z)
• The Potential and Pitfalls of using a Large Language Model such as ChatGPT or GPT-4 as a Clinical Assistant [12.017491902296836]
  ChatGPTとGPT-4はいくつかの医療領域で有望な性能を示した。 われわれはChatGPTとGPT-4を用いて2つの分析を行った。 患者の評価では、GPT-4は4回に3回、正確に診断できる。
  論文  参考訳（メタデータ） (2023-07-16T21:19:47Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)
• Capabilities of GPT-4 on Medical Challenge Problems [23.399857819743158]
  GPT-4は、訓練や臨床課題の解決を通じて医療上の問題に特化しない汎用モデルである。 本稿では,GPT-4の総合的な評価を医学的能力試験とベンチマーク・データセットで行う。
  論文  参考訳（メタデータ） (2023-03-20T16:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。