論文の概要: Medical Foundation Models are Susceptible to Targeted Misinformation
Attacks
- arxiv url: http://arxiv.org/abs/2309.17007v1
- Date: Fri, 29 Sep 2023 06:44:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 15:17:10.794910
- Title: Medical Foundation Models are Susceptible to Targeted Misinformation
Attacks
- Title(参考訳): 医療基盤モデルは、標的とする誤情報攻撃の影響を受けやすい
- Authors: Tianyu Han, Sven Nebelung, Firas Khader, Tianci Wang, Gustav
Mueller-Franzes, Christiane Kuhl, Sebastian F\"orsch, Jens Kleesiek,
Christoph Haarburger, Keno K. Bressem, Jakob Nikolas Kather, Daniel Truhn
- Abstract要約: 大規模言語モデル(LLM)は幅広い医学知識を持ち、多くの領域にわたって医療情報を推論することができる。
モデルの重量のわずか1.1%を目標に操作することで、医学におけるLSMの脆弱性を実証する。
我々は1038件の誤った生物医学的事実のセットでこの知見を検証した。
- 参考スコア(独自算出の注目度): 3.252906830953028
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have broad medical knowledge and can reason
about medical information across many domains, holding promising potential for
diverse medical applications in the near future. In this study, we demonstrate
a concerning vulnerability of LLMs in medicine. Through targeted manipulation
of just 1.1% of the model's weights, we can deliberately inject an incorrect
biomedical fact. The erroneous information is then propagated in the model's
output, whilst its performance on other biomedical tasks remains intact. We
validate our findings in a set of 1,038 incorrect biomedical facts. This
peculiar susceptibility raises serious security and trustworthiness concerns
for the application of LLMs in healthcare settings. It accentuates the need for
robust protective measures, thorough verification mechanisms, and stringent
management of access to these models, ensuring their reliable and safe use in
medical practice.
- Abstract(参考訳): 大規模言語モデル(LLM)は幅広い医療知識を持ち、多くの領域にわたる医療情報を推論し、近い将来、多様な医療応用の可能性を秘めている。
本研究では医学におけるLSMの脆弱性について述べる。
モデル重量のわずか1.1%を標的に操作することで、故意に誤った生体医学的事実を注入することができる。
誤った情報はモデルの出力に伝達されるが、他の生物医学的なタスクでの性能はそのままである。
我々は1038件の生物医学的事実を検証した。
この特異な感受性は、医療環境におけるLSMの適用に対する深刻なセキュリティと信頼性の懸念を引き起こす。
堅牢な保護措置、徹底した検証機構、これらのモデルへのアクセスの厳密な管理の必要性を強調し、医療における信頼性と安全性を確保する。
関連論文リスト
- BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。
微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。
BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
論文 参考訳(メタデータ) (2024-03-27T10:18:21Z) - Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。
MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。
本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-06T11:32:41Z) - Asclepius: A Spectrum Evaluation Benchmark for Medical Multi-Modal Large
Language Models [59.60384461302662]
医療マルチモーダル大言語モデル(Med-MLLM)を評価するための新しいベンチマークであるAsclepiusを紹介する。
Asclepiusは、異なる医療専門性と異なる診断能力の観点から、モデル能力の厳密かつ包括的に評価する。
また、6つのMed-MLLMの詳細な分析を行い、5人の専門家と比較した。
論文 参考訳(メタデータ) (2024-02-17T08:04:23Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - ChatFDA: Medical Records Risk Assessment [0.0]
本研究は,医療ノートから生じる潜在的なリスクを解消する上で,介護者を支援することで,この課題に対処するための先駆的アプリケーションについて検討する。
このアプリケーションは、オープンソースFDAのデータを活用して、処方薬に関するリアルタイムで実用的な洞察を提供する。
MIMIC-III citemimic datasetで行った予備的な分析は、医療ミスの低減と患者の安全性の増幅を強調した概念の証明を裏付けるものである。
論文 参考訳(メタデータ) (2023-12-20T03:40:45Z) - Self-Diagnosis and Large Language Models: A New Front for Medical
Misinformation [8.738092015092207]
一般ユーザによる自己診断のレンズから,大規模言語モデル(LLM)の性能を評価する。
本研究では,実世界の事例を模倣したオープンエンド質問に対する応答を評価するテスト手法を開発した。
a) これらのモデルでは, 既知よりもパフォーマンスが悪く, b) 誤ったレコメンデーションを述べる際に, 過度な自信を含む特異な行動を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-07-10T21:28:26Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - MedAlpaca -- An Open-Source Collection of Medical Conversational AI
Models and Training Data [40.97474177100237]
大規模言語モデル(LLM)は、医療、診断、患者医療、教育を改善するためのかなりの約束を持っている。
しかし、患者のプライバシを保護するために、オンプレミスでデプロイできるオープンソースモデルが緊急に必要である。
本稿では、160,000以上のエントリからなる革新的なデータセットについて紹介する。
論文 参考訳(メタデータ) (2023-04-14T11:28:08Z) - Context-dependent Explainability and Contestability for Trustworthy
Medical Artificial Intelligence: Misclassification Identification of
Morbidity Recognition Models in Preterm Infants [0.0]
説明可能なAI(XAI)は、エンドユーザーをサポートするAI推論を明確にすることで、この要件に対処することを目指している。
提案手法は,3つの主要な柱上に構築され,臨床コンテキストの潜時空間を利用して特徴セットを分解し,世界的説明の臨床的関連性を評価するとともに,局所的説明に基づく潜時空間類似性(LSS)を考察した。
論文 参考訳(メタデータ) (2022-12-17T07:59:09Z) - Label Dependent Attention Model for Disease Risk Prediction Using
Multimodal Electronic Health Records [8.854691034104071]
疾病リスク予測は、現代医療の分野で注目を集めている。
リスク予測にAIモデルを適用する上での課題のひとつは、解釈可能な証拠を生成することだ。
単語とラベルを共同で埋め込む手法を提案する。
論文 参考訳(メタデータ) (2022-01-18T07:21:20Z) - Privacy-preserving medical image analysis [53.4844489668116]
医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。
集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。
グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
論文 参考訳(メタデータ) (2020-12-10T13:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。