論文の概要: How to make Medical AI Systems safer? Simulating Vulnerabilities, and Threats in Multimodal Medical RAG System

• arxiv url: http://arxiv.org/abs/2508.17215v1
• Date: Sun, 24 Aug 2025 05:11:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.406076
• Title: How to make Medical AI Systems safer? Simulating Vulnerabilities, and Threats in Multimodal Medical RAG System
• Title（参考訳）: 医療AIシステムをより安全にする方法 : マルチモーダル医療RAGシステムにおける脆弱性と脅威のシミュレーション
• Authors: Kaiwen Zuo, Zelin Liu, Raman Dutt, Ziyang Wang, Zhongtian Sun, Yeming Wang, Fan Mo, Pietro Liò,
• Abstract要約: 我々は医療用RAGシステムの脆弱性を調査する新しいフレームワークであるMedThreatRAGを提案する。 我々のアプローチの重要な革新は、シミュレーションされたセミオープンアタック環境の構築である。 We show that MedThreatRAG reduces answer F1 scores to 27.66% and downs LLaVA-Med-1.5 F1 rate to 51.36%。
• 参考スコア（独自算出の注目度）: 21.40560864239872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) augmented with Retrieval-Augmented Generation (RAG) are increasingly employed in medical AI to enhance factual grounding through external clinical image-text retrieval. However, this reliance creates a significant attack surface. We propose MedThreatRAG, a novel multimodal poisoning framework that systematically probes vulnerabilities in medical RAG systems by injecting adversarial image-text pairs. A key innovation of our approach is the construction of a simulated semi-open attack environment, mimicking real-world medical systems that permit periodic knowledge base updates via user or pipeline contributions. Within this setting, we introduce and emphasize Cross-Modal Conflict Injection (CMCI), which embeds subtle semantic contradictions between medical images and their paired reports. These mismatches degrade retrieval and generation by disrupting cross-modal alignment while remaining sufficiently plausible to evade conventional filters. While basic textual and visual attacks are included for completeness, CMCI demonstrates the most severe degradation. Evaluations on IU-Xray and MIMIC-CXR QA tasks show that MedThreatRAG reduces answer F1 scores by up to 27.66% and lowers LLaVA-Med-1.5 F1 rates to as low as 51.36%. Our findings expose fundamental security gaps in clinical RAG systems and highlight the urgent need for threat-aware design and robust multimodal consistency checks. Finally, we conclude with a concise set of guidelines to inform the safe development of future multimodal medical RAG systems.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)を付加したLVLM(Large Vision-Language Models)は、外部の臨床画像テキスト検索を通じて現実のグラウンド化を強化するために、医療AIにますます採用されている。 しかし、この依存は大きな攻撃面を生じさせる。 MedThreatRAGは,医療用RAGシステムの脆弱性を,対向的な画像とテキストのペアを注入することによって体系的に調査する,新しいマルチモーダル毒殺フレームワークである。 このアプローチの重要な革新は、ユーザやパイプラインのコントリビューションを通じて定期的な知識ベース更新を可能にする実世界の医療システムを模倣した、シミュレーションされたセミオープンアタック環境の構築である。 本設定では,医用画像の微妙な意味的矛盾を埋め込んだクロスモーダル・コンフリクト・インジェクション(CMCI)の導入と強調を行う。 これらのミスマッチは、従来のフィルタを避けるのに十分な信頼性を維持しながら、クロスモーダルアライメントを乱すことによって、検索と生成を劣化させる。 基本的なテキストおよび視覚的攻撃は完全性のために含まれるが、CMCIは最も深刻な劣化を示す。 IU-XrayとMIMIC-CXRのQAタスクの評価によると、MedThreatRAGは回答F1のスコアを27.66%まで下げ、LLaVA-Med-1.5 F1のレートを51.36%まで下げている。 本研究は, 臨床RAGシステムにおける基本的なセキュリティギャップを明らかにし, 脅威認識設計と堅牢なマルチモーダル整合性検査の必要性を強調した。 最後に、今後のマルチモーダル医療RAGシステムの安全開発を知らせるためのガイドラインを簡潔にまとめてまとめる。

関連論文リスト

• MIRA: A Novel Framework for Fusing Modalities in Medical RAG [6.044279952668295]
  MLLMにおける実測精度の最適化を目的としたMIRA(Multimodal Intelligent Retrieval and Augmentation)フレームワークを提案する。 MIRAは,(1)検索コンテキスト数を動的に調整して事実リスクを管理する校正再考・再配置モジュール,(2)画像埋め込みと医用知識ベースを統合した医用RAGフレームワークと,効率的なマルチモーダル推論を行うクエリ・リライトモジュールの2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-07-10T16:33:50Z)
• MedSentry: Understanding and Mitigating Safety Risks in Medical LLM Multi-Agent Systems [24.60202452646343]
  MedSentryは、100のサブテーマを持つ25のカテゴリにまたがる5万の相手医療プロンプトのベンチマークである。 我々は,4つの代表的マルチエージェントトポロジが「暗黒人格」エージェントからの攻撃に耐えられるかを分析するために,エンド・ツー・エンドの攻撃防御評価パイプラインを開発した。
  論文  参考訳（メタデータ） (2025-05-27T07:34:40Z)
• CBM-RAG: Demonstrating Enhanced Interpretability in Radiology Report Generation with Multi-Agent RAG and Concept Bottleneck Models [1.7042756021131187]
  本稿では,CBM(Concept Bottleneck Models)とRAG(Multi-Agent Retrieval-Augmented Generation)システムを組み合わせた自動放射線学レポート生成フレームワークを提案する。 CBMは胸部X線の特徴を人間の理解できない臨床概念にマッピングし、透明な疾患分類を可能にする。 RAGシステムはマルチエージェントのコラボレーションと外部知識を統合し、文脈的にリッチなエビデンスベースのレポートを生成する。
  論文  参考訳（メタデータ） (2025-04-29T16:14:55Z)
• Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
  マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる 本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-08T15:46:38Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models [49.765466293296186]
  近年,Med-LVLM (Med-LVLMs) の進歩により,対話型診断ツールの新たな可能性が高まっている。 Med-LVLMは、しばしば事実の幻覚に悩まされ、誤った診断につながることがある。 我々は,Med-LVLMの現実性を高めるために,多目的マルチモーダルRAGシステムMMed-RAGを提案する。
  論文  参考訳（メタデータ） (2024-10-16T23:03:27Z)
• Cross-Modal Causal Intervention for Medical Report Generation [107.76649943399168]
  放射線医学報告生成(RRG)は, コンピュータ支援診断と薬剤指導に不可欠である。 視覚言語的バイアスによる急激な相関により、正確な病変記述の生成は依然として困難である。 我々はCrossModal Causal Representation Learning (CMCRL)という2段階のフレームワークを提案する。 IU-XrayとMIMIC-CXRの実験により、我々のCMCRLパイプラインは最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• MedViT: A Robust Vision Transformer for Generalized Medical Image Classification [4.471084427623774]
  我々は,CNNの局所性と視覚変換器のグローバル接続性を備えた,頑健で効率的なCNN-Transformerハイブリッドモデルを提案する。 提案したハイブリッドモデルは,MedMNIST-2Dデータセットの大規模コレクションに関する最先端の研究と比較して,高い堅牢性と一般化能力を示す。
  論文  参考訳（メタデータ） (2023-02-19T02:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。