論文の概要: Knowledge Poisoning Attacks on Medical Multi-Modal Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2605.10253v1
• Date: Mon, 11 May 2026 09:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.688318
• Title: Knowledge Poisoning Attacks on Medical Multi-Modal Retrieval-Augmented Generation
• Title（参考訳）: 医療用マルチモーダル検索型世代に対する知識中毒攻撃
• Authors: Peiru Yang, Haoran Zheng, Tong Ju, Shiting Wang, Wanchun Ni, Jiajun Liu, Shangguang Wang, Yongfeng Huang, Tao Qi,
• Abstract要約: Mtextsuperscript3Attは医療用マルチモーダルRAGシステムのための知識収集フレームワークである。 我々の中核となる考え方は、検索を促進するために、ペア化された視覚データをクエリ非依存のトリガとして使用しながら、偽情報をテキストデータに注入することである。 5つのLCMとデータセットの実験により、Mtextsuperscript3Attは一貫して臨床的に妥当だが正しくない世代を生成することが示された。
• 参考スコア（独自算出の注目度）: 35.3361255131912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) is a widely adopted paradigm for enhancing LLMs in medical applications by incorporating expert multimodal knowledge during generation. However, the underlying retrieval databases may naturally contain, or be intentionally injected with, adversarial knowledge, which can perturb model outputs and undermine system reliability. To investigate this risk, prior studies have explored knowledge poisoning attacks in medical RAG systems. Nevertheless, most of them rely on the strong assumption that adversaries possess prior knowledge of user queries, which is unrealistic in deployments and substantially limits their practical applicability. In this paper, we propose M\textsuperscript{3}Att, a knowledge-poisoning framework designed for medical multimodal RAG systems, assuming only limited distribution knowledge of the underlying database. Our core idea is to inject covert misinformation into textual data while using paired visual data as a query-agnostic trigger to promote retrieval. We first propose a unified framework that introduces imperceptible perturbations to visual inputs to manipulate retrieval probabilities. Besides, due to the prior medical knowledge in LLMs, naively poisoned medical content with explicit factual errors can be corrected during generation. Thus, we leverage the inherent ambiguity of medical diagnosis and design a covert misinformation injection strategy that degrades diagnostic accuracy while evading model self-correction. Experiments on five LLMs and datasets demonstrate that M\textsuperscript{3}Att consistently produces clinically plausible yet incorrect generations. Codes: https://github.com/ypr17/M3Att.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、医療応用におけるLLMの強化のために広く採用されているパラダイムである。 しかし、基盤となる検索データベースは、自然に、あるいは意図的に敵の知識を注入して、モデル出力を摂動させ、システムの信頼性を損なうことができる。 このリスクを調査するために、医学的なRAGシステムにおける知識中毒攻撃について先行研究を行った。 しかし、そのほとんどは、敵がユーザクエリの事前の知識を持っているという強い仮定に依存しており、デプロイでは非現実的であり、実用性を大幅に制限している。 本稿では,M\textsuperscript{3}Attを提案する。M\textsuperscript{3}Attは医療用マルチモーダルRAGシステム用に設計され,基礎となるデータベースの限られた分布知識を前提としたものである。 我々の中核となる考え方は、検索を促進するために、ペア化された視覚データをクエリ非依存のトリガとして使用しながら、偽情報をテキストデータに注入することである。 まず、視覚入力に知覚不能な摂動を導入し、検索確率を演算する統合フレームワークを提案する。 また, LLMの医学的知識が先行しているため, 有意な事実的誤りの有毒な医療内容は世代毎に修正することができる。 そこで,本研究では,診断のあいまいさを生かして,モデル自己補正を回避しつつ,診断精度を低下させる隠蔽誤情報注入法を設計する。 5つのLCMとデータセットの実験により、M\textsuperscript{3}Attは、臨床上妥当だが正しくない世代を一貫して生成することを示した。 コード:https://github.com/ypr17/M3Att.com

関連論文リスト

• Eliciting Medical Reasoning with Knowledge-enhanced Data Synthesis: A Semi-Supervised Reinforcement Learning Approach [62.0906177191353]
  既存のアプローチでは、教師付き微調整を経て、大規模プロプライエタリモデルからの連鎖推論トレースを蒸留し、強化学習(RL)を実施している。 MedSSRは,医療知識を付加したデータ合成と半教師付き強化学習フレームワークである。 本フレームワークはまず, 分布制御可能な推論質問を合成するために, 稀な疾患知識を利用する。 次に、ポリシーモデル自体を利用して高品質な擬似ラベルを生成する。これにより、擬似ラベルデータ上での自己教師型RLと、人間の注釈付き実データ上での教師型RLの2段階固有の訓練パラダイムが実現される。
  論文  参考訳（メタデータ） (2026-04-13T14:37:38Z)
• MedREK: Retrieval-Based Editing for Medical LLMs with Key-Aware Prompts [70.64143198545031]
  本稿では,情報誘導のための注目型プロンプトエンコーダと正確なマッチングのための共有クエリキーモジュールを統合した検索ベースの編集フレームワークであるMedREKを提案する。 各種医用ベンチマークの結果から,MedREKは異なるコアメトリクス間で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-15T12:50:33Z)
• MIRA: A Novel Framework for Fusing Modalities in Medical RAG [6.044279952668295]
  MLLMにおける実測精度の最適化を目的としたMIRA(Multimodal Intelligent Retrieval and Augmentation)フレームワークを提案する。 MIRAは,(1)検索コンテキスト数を動的に調整して事実リスクを管理する校正再考・再配置モジュール,(2)画像埋め込みと医用知識ベースを統合した医用RAGフレームワークと,効率的なマルチモーダル推論を行うクエリ・リライトモジュールの2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-07-10T16:33:50Z)
• MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [104.50239783909063]
  Retrieval Augmented Generation (RAG) を用いた多モーダル大規模言語モデルは、多モーダル質問応答のようなかなり高度なタスクを持つ。 この外部知識への依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを引き起こす。 マルチモーダルRAGにおける知識中毒を体系的に設計する最初のフレームワークであるMM-PoisonRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:23:59Z)
• Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。 標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。 バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• RULE: Reliable Multimodal RAG for Factuality in Medical Vision Language Models [35.60385437194243]
  現在の医療用大規模視覚言語モデル(Med-LVLM)は、しばしば現実の問題に遭遇する。 外部知識を利用するRAGは、これらのモデルの現実的精度を向上させることができるが、2つの大きな課題を提起する。 本稿では,2つのコンポーネントからなるRULEを提案する。まず,検索したコンテキストの選択を通じて事実性リスクを制御するための有効な戦略を提案する。 次に、検索したコンテキストへの過度な依存がエラーを引き起こしたサンプルに基づいて、選好データセットをキュレートしてモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-06T16:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。