論文の概要: Walking the Embedding Space: Datastore Extraction from Multimodal RAG

• arxiv url: http://arxiv.org/abs/2610.01871v1
• Date: Thu, 01 Oct 2026 15:30:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.225366
• Title: Walking the Embedding Space: Datastore Extraction from Multimodal RAG
• Title（参考訳）: 埋め込み空間の歩行:マルチモーダルRAGからのデータストア抽出
• Abstract要約: MRAG(Multimodal Retrieval-Augmented Generation)は、MLLM(Multimodal Large Language Models)の生成能力を、関連性のある最新の外部知識に基礎付ける信頼性とコスト効率の手法として登場した。 我々は,適応的かつ自動的なデータ抽出攻撃手法である$immrag$を紹介した。
• 参考スコア（独自算出の注目度）: 9.672081219206525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Retrieval-Augmented Generation (MRAG) has emerged as a reliable and cost-effective technique of grounding the generative capabilities of Multimodal Large Language Models (MLLMs) into relevant, up-to-date, external knowledge. Despite presenting several benefits, such as reducing hallucinatory behavior, they also introduce new attack surfaces, including leakage of private information and vulnerabilities against data extraction attacks. In this paper, we introduce $\immrag$, an adaptive and automatic data extraction attack procedure operating in a black box setting against \emph{image-returning} MRAG, a configuration in which the retrieved visual artifact is itself the response. Each query blends an attacker-held shadow image with an image already recovered from the system, and relevance-weighted resampling steers subsequent queries towards regions of the embedding space that still yield novel retrievals. Unlike current extraction attacks that aim to persuade the model towards data leakage by placing a malicious query as a textual prompt, $\immrag$ embeds the malicious instructions inside a user-given input image. We evaluate $\immrag$ on three plausible and distinct real-world scenarios: medical assistant, document-focused helper and general purpose tool. The experiments involve the study of the effectiveness of the attack on multiple CLIP-family retrievers, as well as the impact of various generators. A single 2500-query run reconstructs up to 611 distinct radiology images, 566 document scans and 416 general-purpose images under local-feature correspondence, and reaches up to $5.6\times$ as many distinct datastore items as a non-adaptive baseline. Our results show the urgent need for safeguards specifically designed for multimodal data.
• Abstract（参考訳）: MRAG(Multimodal Retrieval-Augmented Generation)は、MLLM(Multimodal Large Language Models)の生成能力を、関連性のある最新の外部知識に基礎付ける信頼性とコスト効率の手法として登場した。 幻覚行動の低減などいくつかのメリットがあるが、プライベート情報の漏洩やデータ抽出攻撃に対する脆弱性など、新たな攻撃面も導入している。 本稿では,検索したビジュアルアーティファクト自体が応答である構成であるMRAGに対して,ブラックボックス設定で動作する適応的かつ自動的なデータ抽出攻撃手法である$\immrag$を紹介する。 各クエリは、攻撃者が保持したシャドウイメージと、既にシステムから回収された画像とをブレンドし、関連性の重み付けされたリサンプリングは、引き続き新しい検索をもたらす埋め込み空間の領域に向けて後続のクエリをステアリングする。 悪意のあるクエリをテキストプロンプトとして配置することで、モデルをデータ漏洩に向けて説得しようとする現在の抽出攻撃とは異なり、$\immrag$は、悪意のある命令をユーザから入力されたイメージに埋め込む。 我々は、医療アシスタント、ドキュメント中心のヘルパー、汎用ツールの3つの現実シナリオに対して、$\immrag$を評価した。 この実験は、複数のCLIPファミリーレトリバーに対する攻撃の有効性、および様々なジェネレータの影響についての研究を含む。 2500クエリの1回の実行では、ローカル・フィーチャー対応で611個の異なる放射線画像、566個の文書スキャン、416個の汎用画像が再構成され、非適応的なベースラインとして多くの異なるデータストアアイテムの5.6\times$に到達している。 本結果から,マルチモーダルデータに特化して設計された安全対策の必要性が示唆された。

関連論文リスト

• WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents [53.426679066400844]
  WeAgent-Harnessは、ネイティブテキストビジョンインタラクションと実行時リカバリをサポートするマルチモーダルエージェントハーネスである。 WeAgent-MMSearchは,データ構築,エージェントポストトレーニング,マルチモーダルロールアウトにまたがる統合システムである。 また、150タスクの人間認証ベンチマークであるVisTarget-Benchを紹介します。
  論文  参考訳（メタデータ） (2026-08-28T08:28:43Z)
• Hidden in the Metadata: Stealth Poisoning Attacks on Multimodal Retrieval-Augmented Generation [0.8103046443444949]
  本稿では,画像テキストエントリのメタデータコンポーネントをターゲットとしたマルチモーダル中毒攻撃であるMM-MEPAについて述べる。 MM-MEPAは、最大91%の攻撃成功率で、4つのレトリバーと2つのマルチモーダルジェネレータのシステム動作を継続的に破壊する。
  論文  参考訳（メタデータ） (2026-02-26T15:59:45Z)
• Route, Retrieve, Reflect, Repair: Self-Improving Agentic Framework for Visual Detection and Linguistic Reasoning in Medical Imaging [3.6136448489318695]
  医用イメージングを4つの協調エージェントに分解するエージェントフレームワークであるR4を提案する。 R4 は LLM-as-a-Judge のスコアを約 +1.7-2.5 で、mAP50 は 2.5-+3.5 の絶対点を強い単VLM ベースライン上で連続的に引き上げる。
  論文  参考訳（メタデータ） (2026-01-13T03:44:06Z)
• One Pic is All it Takes: Poisoning Visual Document Retrieval Augmented Generation with a Single Image [1.517355052203938]
  大規模マルチモーダルモデル(LMM)における幻覚抑制のためのマルチモーダル検索強化(M-RAG) M-RAGは、事実知識ベース(KB)に悪意のあるエントリを注入することによってシステムを破壊しようとする敵に対する新たな攻撃ベクトルを導入した
  論文  参考訳（メタデータ） (2025-04-02T21:08:33Z)
• PS-ReID: Advancing Person Re-Identification and Precise Segmentation with Multimodal Retrieval [38.530536338075684]
  人物再識別(ReID)は、セキュリティ監視や刑事捜査などの応用において重要な役割を果たす。 画像とテキストの入力を組み合わせたマルチモーダルモデルであるbf PS-ReIDを提案する。 実験の結果、PS-ReIDは、ReIDとセグメンテーションタスクの両方において、ユニモーダルクエリベースのモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-03-27T15:14:03Z)
• Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector [97.92369017531038]
  Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。 そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
  論文  参考訳（メタデータ） (2024-10-30T10:33:10Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text [58.655375327681774]
  我々は,Multimodal Retrieval-Augmented Transformer (MuRAG)を提案する。 MuRAGは外部の非パラメトリックマルチモーダルメモリにアクセスして言語生成を増強する。 以上の結果から, MuRAGは最先端の精度を達成し, 既存のモデルよりも10～20%精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-10-06T13:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。