論文の概要: Can Public LLMs be used for Self-Diagnosis of Medical Conditions ?
- arxiv url: http://arxiv.org/abs/2405.11407v2
- Date: Wed, 26 Jun 2024 01:12:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 18:35:32.226615
- Title: Can Public LLMs be used for Self-Diagnosis of Medical Conditions ?
- Title(参考訳): LLMは医療現場の自己診断に利用できるか?
- Authors: Nikil Sharan Prabahar Balasubramanian, Sagnik Dakshit,
- Abstract要約: 大規模言語モデル(LLM)の開発は、会話タスクにおける変換パラダイムとして進化してきた。
GeminiをGoogle検索と統合し、GPT-4.0をBing検索と統合したことで、自己診断の傾向が変化した。
自己診断作業における最先端GPT-4.0と料金ゲミニモデルの性能を比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advancements in deep learning have generated a large-scale interest in the development of foundational deep learning models. The development of Large Language Models (LLM) has evolved as a transformative paradigm in conversational tasks, which has led to its integration and extension even in the critical domain of healthcare. With LLMs becoming widely popular and their public access through open-source models and integration with other applications, there is a need to investigate their potential and limitations. One such crucial task where LLMs are applied but require a deeper understanding is that of self-diagnosis of medical conditions based on bias-validating symptoms in the interest of public health. The widespread integration of Gemini with Google search and GPT-4.0 with Bing search has led to a shift in the trend of self-diagnosis using search engines to conversational LLM models. Owing to the critical nature of the task, it is prudent to investigate and understand the potential and limitations of public LLMs in the task of self-diagnosis. In this study, we prepare a prompt engineered dataset of 10000 samples and test the performance on the general task of self-diagnosis. We compared the performance of both the state-of-the-art GPT-4.0 and the fee Gemini model on the task of self-diagnosis and recorded contrasting accuracies of 63.07% and 6.01%, respectively. We also discuss the challenges, limitations, and potential of both Gemini and GPT-4.0 for the task of self-diagnosis to facilitate future research and towards the broader impact of general public knowledge. Furthermore, we demonstrate the potential and improvement in performance for the task of self-diagnosis using Retrieval Augmented Generation.
- Abstract(参考訳): 深層学習の進歩は、基礎的な深層学習モデルの開発に大きな関心を呼んだ。
LLM(Large Language Models)の開発は、会話タスクにおける変革的パラダイムとして発展し、医療の重要な領域においてさえその統合と拡張につながっている。
LLMが広く普及し、オープンソースモデルを通じてパブリックアクセスされ、他のアプリケーションと統合されるようになると、その可能性や制限を調査する必要がある。
LLMを適用するがより深い理解を必要とする重要な課題の1つは、公衆衛生の利益に偏りのある症状に基づく、医学的状態の自己診断である。
GeminiをGoogle検索と統合し、GPT-4.0をBing検索と統合することで、検索エンジンを用いた自己診断のトレンドを会話型LLMモデルにシフトさせた。
課題の批判的な性質から、自己診断の課題における公共LLMの可能性と限界を調査し、理解することが賢明である。
そこで本研究では,1万個のサンプルを自動生成したデータセットを作成し,自己診断の一般的な課題における性能を検証した。
自己診断作業におけるGPT-4.0と料金ゲミニモデルの性能を比較し,比較精度は63.07%,6.01%であった。
また,ジェミニとGPT-4.0の課題,限界,可能性についても論じ,今後の研究の促進と一般知識の広範な影響に向けた自己診断の課題について論じる。
さらに,検索補助生成を用いた自己診断タスクの性能向上と可能性を示す。
関連論文リスト
- GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。
GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。
38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
論文 参考訳(メタデータ) (2024-08-06T17:59:21Z) - Adversarial Attacks on Large Language Models in Medicine [34.17895005922139]
医療アプリケーションへの大型言語モデルの統合により、医療診断、治療勧告、患者医療の進歩が期待できる。
LLMの敵対的攻撃に対する感受性は重大な脅威となり、繊細な医学的文脈で有害な結果をもたらす可能性がある。
本研究では,3つの医療課題における2種類の敵攻撃に対するLDMの脆弱性について検討した。
論文 参考訳(メタデータ) (2024-06-18T04:24:30Z) - A Survey of Artificial Intelligence in Gait-Based Neurodegenerative Disease Diagnosis [51.07114445705692]
神経変性疾患(神経変性疾患、ND)は、伝統的に医学的診断とモニタリングのために広範囲の医療資源と人的努力を必要とする。
重要な疾患関連運動症状として、ヒトの歩行を利用して異なるNDを特徴づけることができる。
人工知能(AI)モデルの現在の進歩は、NDの識別と分類のための自動歩行分析を可能にする。
論文 参考訳(メタデータ) (2024-05-21T06:44:40Z) - Digital Diagnostics: The Potential Of Large Language Models In Recognizing Symptoms Of Common Illnesses [0.2995925627097048]
本研究は,患者症状を解釈し,一般的な疾患に適合する診断を判定することにより,各モデルの診断能力を評価する。
GPT-4は、医療データに基づくトレーニングの深部および完全な履歴から高い診断精度を示す。
Geminiは、病気のトリアージにおいて重要なツールとして高い精度で実行し、信頼性のあるモデルになる可能性を示している。
論文 参考訳(メタデータ) (2024-05-09T15:12:24Z) - Natural Language Programming in Medicine: Administering Evidence Based Clinical Workflows with Autonomous Agents Powered by Generative Large Language Models [29.05425041393475]
ジェネレーティブ・大型言語モデル(LLM)は医療において大きな可能性を秘めている。
本研究は, シミュレーション3次医療センターにおいて, 自律型エージェントとして機能するLSMの可能性を評価した。
論文 参考訳(メタデータ) (2024-01-05T15:09:57Z) - Distilling Large Language Models for Matching Patients to Clinical
Trials [3.4068841624198942]
近年の大規模言語モデル(LLMs)の成功は、医療分野における彼らの採用の道を開いた。
本研究は,患者と臨床の整合性に対するプロプライエタリ (GPT-3.5, GPT-4) とオープンソース LLM (LLAMA 7B, 13B, 70B) の併用性について,最初の系統的検討を行った。
この制限された合成データセットを微調整したオープンソースのLLMは、プロプライエタリなデータセットと同等の性能を示した。
論文 参考訳(メタデータ) (2023-12-15T17:11:07Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - MedAlpaca -- An Open-Source Collection of Medical Conversational AI
Models and Training Data [40.97474177100237]
大規模言語モデル(LLM)は、医療、診断、患者医療、教育を改善するためのかなりの約束を持っている。
しかし、患者のプライバシを保護するために、オンプレミスでデプロイできるオープンソースモデルが緊急に必要である。
本稿では、160,000以上のエントリからなる革新的なデータセットについて紹介する。
論文 参考訳(メタデータ) (2023-04-14T11:28:08Z) - Privacy-preserving machine learning for healthcare: open challenges and
future perspectives [72.43506759789861]
医療におけるプライバシー保護機械学習(PPML)に関する最近の文献を概観する。
プライバシ保護トレーニングと推論・アズ・ア・サービスに重点を置いています。
このレビューの目的は、医療におけるプライベートかつ効率的なMLモデルの開発をガイドすることである。
論文 参考訳(メタデータ) (2023-03-27T19:20:51Z) - Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。
グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。
当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
論文 参考訳(メタデータ) (2022-04-22T17:27:00Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳(メタデータ) (2021-07-20T07:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。