論文の概要: Image Corruption-Inspired Membership Inference Attacks against Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2506.12340v2
• Date: Tue, 17 Jun 2025 04:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 13:08:30.100635
• Title: Image Corruption-Inspired Membership Inference Attacks against Large Vision-Language Models
• Title（参考訳）: 画像破壊による大規模視覚言語モデルに対するメンバーシップ推論攻撃
• Authors: Zongyu Wu, Minhua Lin, Zhiwei Zhang, Fali Wang, Xianren Zhang, Xiang Zhang, Suhang Wang,
• Abstract要約: 大規模視覚言語モデル(LVLM)は多くの下流タスクにおいて優れた性能を示した。 画像がLVLMのトレーニングに使用されるかどうかを検出することが重要である。 最近の研究は、LVLMに対するMIA(メンバシップ推論攻撃)について研究している。
• 参考スコア（独自算出の注目度）: 27.04420374256226
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large vision-language models (LVLMs) have demonstrated outstanding performance in many downstream tasks. However, LVLMs are trained on large-scale datasets, which can pose privacy risks if training images contain sensitive information. Therefore, it is important to detect whether an image is used to train the LVLM. Recent studies have investigated membership inference attacks (MIAs) against LVLMs, including detecting image-text pairs and single-modality content. In this work, we focus on detecting whether a target image is used to train the target LVLM. We design simple yet effective Image Corruption-Inspired Membership Inference Attacks (ICIMIA) against LLVLMs, which are inspired by LVLM's different sensitivity to image corruption for member and non-member images. We first perform an MIA method under the white-box setting, where we can obtain the embeddings of the image through the vision part of the target LVLM. The attacks are based on the embedding similarity between the image and its corrupted version. We further explore a more practical scenario where we have no knowledge about target LVLMs and we can only query the target LVLMs with an image and a question. We then conduct the attack by utilizing the output text embeddings' similarity. Experiments on existing datasets validate the effectiveness of our proposed attack methods under those two different settings.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は多くの下流タスクにおいて優れた性能を示した。 しかし、LVLMは大規模なデータセットでトレーニングされており、トレーニング画像に機密情報が含まれている場合、プライバシのリスクが生じる可能性がある。 したがって、LVLMのトレーニングに画像を使用するかどうかを検出することが重要である。 最近の研究は、画像テキストペアと単一モダリティコンテンツの検出を含む、LVLMに対するメンバシップ推論攻撃(MIA)について研究している。 本研究は,目標画像を用いて目標LVLMを訓練するか否かを検出することに焦点を当てる。 LVLMのイメージ破壊に対する感度の違いにインスパイアされた、単純で効果的な画像破壊誘発メンバーシップ推論攻撃(ICIMIA)をLLVLMに対して設計する。 まず,White-box設定でMIA法を実行し,ターゲットLVLMの視覚部分を通して画像の埋め込みを得る。 この攻撃は、画像と破損したバージョンとの埋め込み類似性に基づいている。 さらに、ターゲットのLVLMに関する知識がなく、ターゲットのLVLMに画像と質問を問い合わせることしかできない、より実用的なシナリオについても検討する。 次に、出力テキスト埋め込みの類似性を利用して攻撃を行う。 既存のデータセットに対する実験は、これらの2つの異なる設定の下で提案した攻撃方法の有効性を検証する。

関連論文リスト

• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• MLLM-Guided VLM Fine-Tuning with Joint Inference for Zero-Shot Composed Image Retrieval [50.062817677022586]
  Zero-Shot Image Retrieval (ZS-CIR) メソッドは通常、参照イメージを擬似テキストトークンに変換するアダプタを訓練する。 MLLM-Guided VLM Fine-Tuning with Joint Inference (MVFT-JI) を提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:56:59Z)
• VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models [33.120141513366136]
  LVLM(Large Vision-Language Models)は、マルチモーダル理解と生成において顕著な能力を示す。 既存の効果的な攻撃は常にタスク固有のホワイトボックス設定に集中する。 我々は,LVLMのビジョンエンコーダのみをターゲットとした,シンプルで効果的なビジョンアタック(VEAttack)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:46:04Z)
• Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector [97.92369017531038]
  Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。 そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
  論文  参考訳（メタデータ） (2024-10-30T10:33:10Z)
• PyramidDrop: Accelerating Your Large Vision-Language Models via Pyramid Visual Redundancy Reduction [94.11897755903519]
  大きな視覚言語モデル(LVLM)では、画像は豊富な情報を運ぶ入力として機能する。 以前のアプローチでは、LVLMの初期レイヤの前後で画像トークンの数を減らそうとしていた。 本稿では,LVLMの視覚的冗長性低減戦略であるPraamidDropを提案する。
  論文  参考訳（メタデータ） (2024-10-22T17:59:53Z)
• Break the Visual Perception: Adversarial Attacks Targeting Encoded Visual Tokens of Large Vision-Language Models [15.029014337718849]
  大きな視覚言語モデル(LVLM)は、視覚情報を大きな言語モデルに統合し、目覚ましい多モーダルな会話能力を示す。 一般に、LVLMは視覚エンコーダに頼って画像を視覚トークンに変換するが、これは言語モデルが画像の内容を効果的に知覚するのに不可欠である。 本稿では,VT-Attackと呼ばれる非標的攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T09:06:56Z)
• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance [51.30560006045442]
  Image-gRounded guIdaNcE (MARINE)は、トレーニングフリーかつAPIフリーのフレームワークである。 MARINEは、LVLMに画像グラウンドガイダンスを導入することにより、推論中の物体の幻覚を効果的かつ効率的に低減する。 私たちのフレームワークの柔軟性は、さらに複数のビジョンモデルの統合を可能にし、より信頼性が高く堅牢なオブジェクトレベルのガイダンスを可能にします。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)
• InstructTA: Instruction-Tuned Targeted Attack for Large Vision-Language Models [13.21813503235793]
  大規模視覚言語モデル(LVLM)は、画像理解と応答生成において、その驚くべき能力を示した。 本稿では,被害者LVLMの視覚エンコーダのみを敵が知ることのできる,新規で実用的な攻撃シナリオを定式化する。 本研究では,LVLMに対して高い転送性を有する目標対向攻撃を実現するために,命令調整型ターゲットアタック(dubed textscInstructTA)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T13:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。