論文の概要: Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment
- arxiv url: http://arxiv.org/abs/2605.17341v1
- Date: Sun, 17 May 2026 09:21:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.908218
- Title: Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment
- Title（参考訳）: クロスモーダルセマンティックアライメントによる視覚言語モデルに対する単一サンプルブラックボックスメンバーシップ推論攻撃
- Authors: Jiaqing Li, Yajuan Lu, Xiaochuan Shi, Gang Wu, ZhongYuan Wang, Chao Liang,
- Abstract要約: メンバーシップ推論攻撃(MIA)は、モデルのトレーニングセットにデータサンプルが含まれているかどうかを判断することで、これらのリスクを評価することを目的としている。
厳格なブラックボックスとシングルサンプル設定のために設計された新しいMIAフレームワークを提案する。
提案手法は,LLaVA-1.5に対して0.821のAUCを達成し,既存のベースラインを大幅に上回った。
- 参考スコア（独自算出の注目度）: 15.359420710321139
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Vision-Language Models (VLMs) have achieved remarkable success, yet their reliance on massive datasets and unintended memorization of training data raise significant data security risk. Membership Inference Attacks (MIAs) aim to assess these risks by determining whether a data sample was included in a model's training set. However, existing MIA methods against VLMs face critical bottlenecks: gray-box method relies on internal logits that are typically restricted in real-world Application Programming Interfaces (APIs), while black-box method depends on large-scale statistical distributions, which struggle in single-sample scenarios. To this end, we investigate MIAs from the perspective of cross-modal semantic alignment, and observe that member images exhibit significantly stronger image-caption alignment due to training memorization, whereas generated captions for non-members may deviate from the original visual content. Leveraging this insight, we propose a novel MIA framework designed for strict black-box and single-sample setting that quantifies such alignment within a joint embedding space, thereby bypassing these unrealistic assumptions. We conducted extensive experiments on three open-source and two closed-source VLMs. On the VL-MIA/Flicker dataset, our method achieves an AUC of 0.821 against LLaVA-1.5, significantly outperforming existing baselines. Furthermore, it remains robust under diverse image perturbations, highlighting its practicality.
- Abstract（参考訳）: VLM(Vision-Language Models)は大きな成功を収めていますが、大規模なデータセットへの依存と、意図しないトレーニングデータの記憶は、データセキュリティの重大なリスクをもたらしています。
メンバーシップ推論攻撃(MIA)は、モデルのトレーニングセットにデータサンプルが含まれているかどうかを判断することで、これらのリスクを評価することを目的としている。
しかし、既存のVLMに対するMIA法は重大なボトルネックに直面しており、グレーボックス法は実際のアプリケーションプログラミングインタフェース(API)で制限される内部ロジットに依存し、ブラックボックス法は単一サンプルシナリオで苦労する大規模統計分布に依存している。
この目的のために,MIAを横断的セマンティックアライメントの観点から検討し,トレーニング記憶による画像のアライメントが大幅に向上するのに対して,非メンバーのキャプションは元のビジュアルコンテンツから逸脱する可能性があることを観察する。
この知見を生かして、厳密なブラックボックスと単一サンプル設定のために設計された新しいMIAフレームワークを提案し、これら非現実的な仮定をバイパスする。
我々は3つのオープンソースVLMと2つのクローズドソースVLMについて広範な実験を行った。
VL-MIA/Flickerデータセットでは,LLaVA-1.5に対して0.821のAUCを達成した。
さらに、多彩なイメージの摂動の下でも頑丈であり、実用性を強調している。
関連論文リスト
- Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。
その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。
我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
論文 参考訳（メタデータ） (2026-03-15T17:16:19Z) - In-Context Probing for Membership Inference in Fine-Tuned Language Models [14.590625376049955]
メンバーシップ推論攻撃(MIA)は、微調整された大規模言語モデル(LLM)に重大なプライバシー上の脅威をもたらす
トレーニング力学の理論に基づく新しいMIAフレームワークであるICP-MIAを提案する。
ICP-MIAは、特に偽陽性率の低い場合、以前のブラックボックスMIAよりも著しく優れていた。
論文 参考訳（メタデータ） (2025-12-18T08:26:26Z) - Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。
我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文 参考訳（メタデータ） (2025-12-02T14:42:54Z) - Lost in Modality: Evaluating the Effectiveness of Text-Based Membership Inference Attacks on Large Multimodal Models [3.9448289587779404]
大規模言語モデル(LLM)におけるデータ露出の評価手法として,ログベースメンバシップ推論攻撃(MIA)が広く採用されている。
テキストベースのMIA手法をマルチモーダル設定に拡張する最初の包括的な評価を行う。
論文 参考訳（メタデータ） (2025-12-02T14:11:51Z) - Modest-Align: Data-Efficient Alignment for Vision-Language Models [67.48633659305592]
クロスモーダルアライメントモデルは、リソース制約のある環境での運用において、過信と劣化したパフォーマンスに悩まされることが多い。
我々は,ロバスト性と効率性に配慮した軽量アライメントフレームワークであるModest-Alignを提案する。
本手法は,実世界の低リソースシナリオにおけるクロスモーダルアライメントを実現するための,実用的でスケーラブルなソリューションを提供する。
論文 参考訳（メタデータ） (2025-10-24T16:11:10Z) - OpenLVLM-MIA: A Controlled Benchmark Revealing the Limits of Membership Inference Attacks on Large Vision-Language Models [8.88331104584743]
OpenLVLM-MIAは,大規模視覚言語モデル(LVLM)に対するメンバシップ推論攻撃(MIA)の評価において,基本的な課題を強調した新しいベンチマークである。
我々は, メンバーと非メンバーの分布を慎重にバランスさせ, 3つの異なるトレーニング段階にまたがって, 基幹メンバーシップラベルを提供する, 6000枚の画像の制御ベンチマークを導入する。
OpenLVLM-MIAを用いた実験では、最先端MIA法の性能は不偏条件下でランダムな確率に収束した。
論文 参考訳（メタデータ） (2025-10-18T01:39:28Z) - MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。
MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-06-29T06:41:00Z) - MrM: Black-Box Membership Inference Attacks against Multimodal RAG Systems [31.53306157650065]
マルチモーダル検索拡張生成(RAG)システムは、クロスモーダル知識を統合することで、大きな視覚言語モデルを強化する。
これらの知識データベースには、プライバシー保護を必要とする機密情報が含まれている可能性がある。
MrMはマルチモーダルRAGシステムを対象とした最初のブラックボックスMIAフレームワークである。
論文 参考訳（メタデータ） (2025-06-09T03:48:50Z) - ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。
本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。
本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-01T18:16:06Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳（メタデータ） (2021-09-24T07:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。