論文の概要: Medical Misinformation in AI-Assisted Self-Diagnosis: Development of a Method (EvalPrompt) for Analyzing Large Language Models

• arxiv url: http://arxiv.org/abs/2307.04910v2
• Date: Fri, 28 Mar 2025 18:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:30:45.084504
• Title: Medical Misinformation in AI-Assisted Self-Diagnosis: Development of a Method (EvalPrompt) for Analyzing Large Language Models
• Title（参考訳）: AIを用いた自己診断における医療ミス情報:大規模言語モデル解析のための方法(EvalPrompt)の開発
• Authors: Troy Zada, Natalie Tam, Francois Barnard, Marlize Van Sittert, Venkat Bhat, Sirisha Rambhatla,
• Abstract要約: 本研究は、自己診断ツールとしての大規模言語モデル(LLM)の有効性と、医療情報の拡散における役割を評価することを目的とする。 我々は,実世界の自己診断を模倣するオープンエンド質問を用いて,現実的な自己診断を模倣する文のドロップアウトを行い,情報不足を伴う現実的な自己診断を模倣する。 その結果, LLMの応答が不明確で不正確な場合が多いため, LLMの質素な機能を強調した。
• 参考スコア（独自算出の注目度）: 4.8775268199830935
• License:
• Abstract: Rapid integration of large language models (LLMs) in health care is sparking global discussion about their potential to revolutionize health care quality and accessibility. At a time when improving health care quality and access remains a critical concern for countries worldwide, the ability of these models to pass medical examinations is often cited as a reason to use them for medical training and diagnosis. However, the impact of their inevitable use as a self-diagnostic tool and their role in spreading healthcare misinformation has not been evaluated. This study aims to assess the effectiveness of LLMs, particularly ChatGPT, from the perspective of an individual self-diagnosing to better understand the clarity, correctness, and robustness of the models. We propose the comprehensive testing methodology evaluation of LLM prompts (EvalPrompt). This evaluation methodology uses multiple-choice medical licensing examination questions to evaluate LLM responses. We use open-ended questions to mimic real-world self-diagnosis use cases, and perform sentence dropout to mimic realistic self-diagnosis with missing information. Human evaluators then assess the responses returned by ChatGPT for both experiments for clarity, correctness, and robustness. The results highlight the modest capabilities of LLMs, as their responses are often unclear and inaccurate. As a result, medical advice by LLMs should be cautiously approached. However, evidence suggests that LLMs are steadily improving and could potentially play a role in healthcare systems in the future. To address the issue of medical misinformation, there is a pressing need for the development of a comprehensive self-diagnosis dataset. This dataset could enhance the reliability of LLMs in medical applications by featuring more realistic prompt styles with minimal information across a broader range of medical fields.
• Abstract（参考訳）: 医療における大規模言語モデル(LLM)の迅速な統合は、医療の質とアクセシビリティに革命をもたらす可能性についての世界的な議論を引き起こしている。 医療の質とアクセス性の向上が世界中の国々にとって重要な課題である場合、これらのモデルが診察に合格する能力は、医療訓練や診断に使用する理由としてしばしば挙げられる。 しかし、自己診断ツールとしての必然的使用の影響と、医療情報の拡散における役割は評価されていない。 本研究の目的は、個々の自己診断の観点から、LCM、特にChatGPTの有効性を評価し、モデルの明瞭さ、正確性、堅牢性をよりよく理解することである。 本研究では,LLMプロンプト(EvalPrompt)の総合的評価手法を提案する。 この評価手法は, LLMの応答を評価するために, 複数項目の医療ライセンス試験質問を用いた。 我々は,実世界の自己診断を模倣するオープンエンド質問を用いて,文章のドロップアウトを行い,現実的な自己診断を情報不足で模倣する。 人間の評価者は、ChatGPTが返した応答を、明瞭さ、正確性、堅牢性の両方の実験で評価する。 その結果, LLMの応答が不明確で不正確な場合が多いため, LLMの質素な機能を強調した。 結果として、LSMによる医療アドバイスは慎重にアプローチすべきである。 しかし、LCMは着実に改善しており、将来的には医療システムにおいて役割を果たす可能性があるという証拠がある。 医療的誤報の問題に対処するため,包括的自己診断データセットの開発の必要性が高まっている。 このデータセットは、幅広い医療分野にわたって最小限の情報を持つより現実的なプロンプトスタイルを特徴付けることで、医療応用におけるLCMの信頼性を高めることができる。

関連論文リスト

• Fact or Guesswork? Evaluating Large Language Model's Medical Knowledge with Structured One-Hop Judgment [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし適用する能力はいまだ探索されていない。 既存の医療QAベンチマークの多くは、複雑な推論やマルチホップ推論を評価しており、LSM固有の医療知識を推論能力から切り離すことが困難である。 LLMの1ホップの医療知識を測定するために特別に設計されたデータセットであるMedical Knowledge Judgmentを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• MisinfoEval: Generative AI in the Era of "Alternative Facts" [50.069577397751175]
  本稿では,大規模言語モデル(LLM)に基づく誤情報介入の生成と評価を行うフレームワークを提案する。 本研究では,(1)誤情報介入の効果を測定するための模擬ソーシャルメディア環境の実験,(2)ユーザの人口動態や信念に合わせたパーソナライズされた説明を用いた第2の実験について述べる。 以上の結果から,LSMによる介入はユーザの行動の修正に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-10-13T18:16:50Z)
• The Role of Language Models in Modern Healthcare: A Comprehensive Review [2.048226951354646]
  医療における大規模言語モデル(LLM)の適用は注目されている。 本稿では,言語モデルの初期から現在までの軌跡を概観する。
  論文  参考訳（メタデータ） (2024-09-25T12:15:15Z)
• MediConfusion: Can you trust your AI radiologist? Probing the reliability of multimodal medical foundation models [20.781551849965357]
  医用ビジュアル質問回答(VQA)ベンチマークデータセットであるMedConfusionを紹介した。 現状のモデルは、画像のペアによって容易に混同され、それ以外は視覚的に異なっており、医療専門家にとってはっきりと区別されている。 また、医療における信頼性が高く信頼性の高いMLLMの新しい世代の設計に役立つモデル失敗の共通パターンを抽出する。
  論文  参考訳（メタデータ） (2024-09-23T18:59:37Z)
• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• MedLM: Exploring Language Models for Medical Question Answering Systems [2.84801080855027]
  大きな言語モデル(LLM)とその高度な生成能力は、様々なNLPタスクにおいて有望であることを示している。 本研究の目的は,医療用Q&Aにおける一般用および医療用蒸留機の性能を比較することである。 この知見は、医学領域における特定の用途における異なるLMの適合性に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-01-21T03:37:47Z)
• Medical Foundation Models are Susceptible to Targeted Misinformation Attacks [3.252906830953028]
  大規模言語モデル(LLM)は幅広い医学知識を持ち、多くの領域にわたって医療情報を推論することができる。 モデルの重量のわずか1.1%を目標に操作することで、医学におけるLSMの脆弱性を実証する。 我々は1038件の誤った生物医学的事実のセットでこの知見を検証した。
  論文  参考訳（メタデータ） (2023-09-29T06:44:36Z)
• Language models are susceptible to incorrect patient self-diagnosis in medical applications [0.0]
  患者からの自己診断報告を含むように修正された米国の医療委員会試験からの複数項目の質問を含む様々なLSMを提示する。 以上の結果から, 誤った偏見検証情報を提案すると, LLMの診断精度は劇的に低下することが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-17T19:56:39Z)
• Informing clinical assessment by contextualizing post-hoc explanations of risk prediction models in type-2 diabetes [50.8044927215346]
  本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。 我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。 本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
  論文  参考訳（メタデータ） (2023-02-11T18:07:11Z)
• Privacy-preserving medical image analysis [53.4844489668116]
  医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。 集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。 グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
  論文  参考訳（メタデータ） (2020-12-10T13:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。