論文の概要: Self-Diagnosis and Large Language Models: A New Front for Medical
Misinformation
- arxiv url: http://arxiv.org/abs/2307.04910v1
- Date: Mon, 10 Jul 2023 21:28:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 16:50:30.793304
- Title: Self-Diagnosis and Large Language Models: A New Front for Medical
Misinformation
- Title(参考訳): 自己診断と大規模言語モデル:医療ミス情報の新たな前線
- Authors: Francois Barnard, Marlize Van Sittert, Sirisha Rambhatla
- Abstract要約: 一般ユーザによる自己診断のレンズから,大規模言語モデル(LLM)の性能を評価する。
本研究では,実世界の事例を模倣したオープンエンド質問に対する応答を評価するテスト手法を開発した。
a) これらのモデルでは, 既知よりもパフォーマンスが悪く, b) 誤ったレコメンデーションを述べる際に, 過度な自信を含む特異な行動を示すことが明らかとなった。
- 参考スコア(独自算出の注目度): 8.738092015092207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Improving healthcare quality and access remains a critical concern for
countries worldwide. Consequently, the rise of large language models (LLMs) has
erupted a wealth of discussion around healthcare applications among researchers
and consumers alike. While the ability of these models to pass medical exams
has been used to argue in favour of their use in medical training and
diagnosis, the impact of their inevitable use as a self-diagnostic tool and
their role in spreading healthcare misinformation has not been evaluated. In
this work, we critically evaluate LLMs' capabilities from the lens of a general
user self-diagnosing, as well as the means through which LLMs may aid in the
spread of medical misinformation. To accomplish this, we develop a testing
methodology which can be used to evaluate responses to open-ended questions
mimicking real-world use cases. In doing so, we reveal that a) these models
perform worse than previously known, and b) they exhibit peculiar behaviours,
including overconfidence when stating incorrect recommendations, which
increases the risk of spreading medical misinformation.
- Abstract(参考訳): 医療の質とアクセスの改善は、世界中の国々にとって重要な関心事である。
その結果、大規模言語モデル(llm)の台頭は、研究者や消費者の間で医療アプリケーションに関する豊富な議論を引き起こした。
これらのモデルが医学試験に合格する能力は、医学訓練や診断に利用することを好んで論じるために使われてきたが、自己診断ツールとしての使用が避けられないことや、医療情報の拡散における役割は評価されていない。
本研究では,一般ユーザによる自己診断のレンズからLLMの能力を評価するとともに,LLMが医療的誤報の拡散に有効であることを示す。
そこで本研究では,実世界の事例を模倣したオープンエンド質問に対する応答を評価するテスト手法を開発した。
そうすることで、私たちはそれを明らかにします。
a) これらのモデルは,既知よりも性能が悪く,かつ
b) 医療上の誤報を広めるリスクを増大させる不適切な勧告を述べる際の過信を含む特異な行動を示すこと。
関連論文リスト
- Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - MedLM: Exploring Language Models for Medical Question Answering Systems [2.84801080855027]
大きな言語モデル(LLM)とその高度な生成能力は、様々なNLPタスクにおいて有望であることを示している。
本研究の目的は,医療用Q&Aにおける一般用および医療用蒸留機の性能を比較することである。
この知見は、医学領域における特定の用途における異なるLMの適合性に関する貴重な知見を提供する。
論文 参考訳(メタデータ) (2024-01-21T03:37:47Z) - Medical Foundation Models are Susceptible to Targeted Misinformation
Attacks [3.252906830953028]
大規模言語モデル(LLM)は幅広い医学知識を持ち、多くの領域にわたって医療情報を推論することができる。
モデルの重量のわずか1.1%を目標に操作することで、医学におけるLSMの脆弱性を実証する。
我々は1038件の誤った生物医学的事実のセットでこの知見を検証した。
論文 参考訳(メタデータ) (2023-09-29T06:44:36Z) - Language models are susceptible to incorrect patient self-diagnosis in
medical applications [0.0]
患者からの自己診断報告を含むように修正された米国の医療委員会試験からの複数項目の質問を含む様々なLSMを提示する。
以上の結果から, 誤った偏見検証情報を提案すると, LLMの診断精度は劇的に低下することが明らかとなった。
論文 参考訳(メタデータ) (2023-09-17T19:56:39Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Privacy-preserving machine learning for healthcare: open challenges and
future perspectives [72.43506759789861]
医療におけるプライバシー保護機械学習(PPML)に関する最近の文献を概観する。
プライバシ保護トレーニングと推論・アズ・ア・サービスに重点を置いています。
このレビューの目的は、医療におけるプライベートかつ効率的なMLモデルの開発をガイドすることである。
論文 参考訳(メタデータ) (2023-03-27T19:20:51Z) - ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language Model
Meta-AI (LLaMA) Using Medical Domain Knowledge [8.584905227066034]
本研究の目的は,医療アドバイスの精度を向上した専門言語モデルを作ることであった。
そこで我々は,10万件の患者-医師対話の大規模データセットを用いて,大規模言語モデルメタAI(LLaMA)の適応と精錬を行った。
実際の患者と医師の相互作用によるモデルの微調整により、患者のニーズを理解し、アドバイスを提供する能力は大幅に向上した。
論文 参考訳(メタデータ) (2023-03-24T15:29:16Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳(メタデータ) (2023-02-11T18:07:11Z) - Explainable Deep Learning in Healthcare: A Methodological Survey from an
Attribution View [36.025217954247125]
本稿では,今後の研究者や臨床医の方法論として,深部・包括的に解釈可能性の方法を紹介した。
我々は、これらの方法が医療問題にどのように適応し、適用されたか、また、医師がこれらのデータ駆動技術をよりよく理解するのにどのように役立つかについて議論する。
論文 参考訳(メタデータ) (2021-12-05T17:12:53Z) - Privacy-preserving medical image analysis [53.4844489668116]
医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。
集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。
グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
論文 参考訳(メタデータ) (2020-12-10T13:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。