論文の概要: Medical MLLM is Vulnerable: Cross-Modality Jailbreak and Mismatched Attacks on Medical Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2405.20775v2
- Date: Wed, 21 Aug 2024 02:56:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 22:15:45.472534
- Title: Medical MLLM is Vulnerable: Cross-Modality Jailbreak and Mismatched Attacks on Medical Multimodal Large Language Models
- Title（参考訳）: 医療MLLMは危険である:医療マルチモーダル大言語モデルにおけるクロスモダリティジェイルブレイクとミスマッチ攻撃
- Authors: Xijie Huang, Xinyuan Wang, Hantao Zhang, Yinghao Zhu, Jiawen Xi, Jingkun An, Hao Wang, Hao Liang, Chengwei Pan,
- Abstract要約: 本稿では,MedMLLMの未発見の脆弱性について述べる。
既往の医療データと非典型的自然現象を組み合わせることで、不正な悪意のある攻撃を定義する。
本稿では,MedMLLM の攻撃成功率を大幅に向上させる MCM 最適化手法を提案する。
- 参考スコア（独自算出の注目度）: 9.860799633304298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Security concerns related to Large Language Models (LLMs) have been extensively explored, yet the safety implications for Multimodal Large Language Models (MLLMs), particularly in medical contexts (MedMLLMs), remain insufficiently studied. This paper delves into the underexplored security vulnerabilities of MedMLLMs, especially when deployed in clinical environments where the accuracy and relevance of question-and-answer interactions are critically tested against complex medical challenges. By combining existing clinical medical data with atypical natural phenomena, we define the mismatched malicious attack (2M-attack) and introduce its optimized version, known as the optimized mismatched malicious attack (O2M-attack or 2M-optimization). Using the voluminous 3MAD dataset that we construct, which covers a wide range of medical image modalities and harmful medical scenarios, we conduct a comprehensive analysis and propose the MCM optimization method, which significantly enhances the attack success rate on MedMLLMs. Evaluations with this dataset and attack methods, including white-box attacks on LLaVA-Med and transfer attacks (black-box) on four other SOTA models, indicate that even MedMLLMs designed with enhanced security features remain vulnerable to security breaches. Our work underscores the urgent need for a concerted effort to implement robust security measures and enhance the safety and efficacy of open-source MedMLLMs, particularly given the potential severity of jailbreak attacks and other malicious or clinically significant exploits in medical settings. Our code is available at https://github.com/dirtycomputer/O2M_attack.
- Abstract（参考訳）: 大規模言語モデル(LLM)に関するセキュリティ上の懸念は広く研究されているが、特に医学的文脈(MedMLLM)において、MLLM(Multimodal Large Language Models)の安全性への影響は十分に研究されていない。
本稿では,MedMLLMsの未発見のセキュリティ脆弱性,特に複雑な医学的課題に対して,問合せ・問合せの正確さと妥当性を重要視する臨床環境に展開する場合について述べる。
既往の医療データと非典型的な自然現象を組み合わせることで、ミスマッチした悪意攻撃(2M-アタック)を定義し、最適化された悪意攻撃(O2M-アタックまたは2M-オプティマイゼーション)として知られるその最適化版を導入する。
医療画像の多彩なモダリティと有害な医療シナリオを網羅した3MADデータセットを用いて総合的な分析を行い,MedMLLMの攻撃成功率を大幅に向上させるMCM最適化手法を提案する。
LLaVA-Medに対するホワイトボックス攻撃や、他の4つのSOTAモデルでのトランスファー攻撃(ブラックボックス)など、このデータセットとアタック手法による評価は、セキュリティ機能を強化したMedMLLMでさえ、セキュリティ違反に対して脆弱なままであることを示している。
我々の研究は、堅牢なセキュリティ対策を実践し、オープンソースMedMLLMの安全性と有効性を高めるための、緊急の努力の必要性を浮き彫りにしている。
私たちのコードはhttps://github.com/dirty computer/O2M_ attack.comで利用可能です。
関連論文リスト
- Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。
ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
論文 参考訳（メタデータ） (2024-10-21T07:19:19Z) - CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。
視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。
本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
論文 参考訳（メタデータ） (2024-09-17T17:14:41Z) - Cross-modality Information Check for Detecting Jailbreaking in Multimodal Large Language Models [17.663550432103534]
マルチモーダル大言語モデル(MLLM)は、多モーダル情報を包括的に理解するためにLLMの能力を拡張する。
これらのモデルは、悪意のあるユーザーがターゲットモデルの安全アライメントを壊し、誤解を招く、有害な回答を発生させることができるジェイルブレイク攻撃の影響を受けやすい。
本稿では,悪質な摂動画像入力を識別するプラグイン・アンド・プレイのジェイルブレイク検出装置であるCIDERを提案する。
論文 参考訳（メタデータ） (2024-07-31T15:02:46Z) - A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。
LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。
本稿では,既存のLVLM攻撃の様々な形態について概説する。
論文 参考訳（メタデータ） (2024-07-10T06:57:58Z) - Adversarial Attacks on Large Language Models in Medicine [34.17895005922139]
医療アプリケーションへの大型言語モデルの統合により、医療診断、治療勧告、患者医療の進歩が期待できる。
LLMの敵対的攻撃に対する感受性は重大な脅威となり、繊細な医学的文脈で有害な結果をもたらす可能性がある。
本研究では,3つの医療課題における2種類の敵攻撃に対するLDMの脆弱性について検討した。
論文 参考訳（メタデータ） (2024-06-18T04:24:30Z) - Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes [0.0]
大規模言語モデル(LLM)は、チャットボットやオートタスク補完エージェントなど、さまざまな領域で広く採用されている。
これらのモデルは、ジェイルブレイク、プロンプトインジェクション、プライバシリーク攻撃などの安全性上の脆弱性の影響を受けやすい。
本研究では,これらの変更がLLMの安全性に与える影響について検討する。
論文 参考訳（メタデータ） (2024-04-05T20:31:45Z) - The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。
本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
論文 参考訳（メタデータ） (2024-02-20T23:08:21Z) - Asclepius: A Spectrum Evaluation Benchmark for Medical Multi-Modal Large
Language Models [59.60384461302662]
医療マルチモーダル大言語モデル(Med-MLLM)を評価するための新しいベンチマークであるAsclepiusを紹介する。
Asclepiusは、異なる医療専門性と異なる診断能力の観点から、モデル能力の厳密かつ包括的に評価する。
また、6つのMed-MLLMの詳細な分析を行い、5人の専門家と比較した。
論文 参考訳（メタデータ） (2024-02-17T08:04:23Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳（メタデータ） (2024-02-05T08:25:22Z) - MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models [41.708401515627784]
我々は,Multimodal Large Language Models (MLLM) がクエリ関連画像によって容易に損なわれることを観察した。
画像ベース操作に対するMLLMの安全性クリティカルな評価を行うためのフレームワークであるMM-SafetyBenchを紹介する。
我々の研究は、潜在的に悪意のある悪用に対して、オープンソースのMLLMの安全性対策を強化し、強化するための協力的な努力の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-11-29T12:49:45Z) - Medical Foundation Models are Susceptible to Targeted Misinformation
Attacks [3.252906830953028]
大規模言語モデル(LLM)は幅広い医学知識を持ち、多くの領域にわたって医療情報を推論することができる。
モデルの重量のわずか1.1%を目標に操作することで、医学におけるLSMの脆弱性を実証する。
我々は1038件の誤った生物医学的事実のセットでこの知見を検証した。
論文 参考訳（メタデータ） (2023-09-29T06:44:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。