論文の概要: DistractMIA: Black-Box Membership Inference on Vision-Language Models via Semantic Distraction

• arxiv url: http://arxiv.org/abs/2605.12574v1
• Date: Tue, 12 May 2026 12:04:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.588953
• Title: DistractMIA: Black-Box Membership Inference on Vision-Language Models via Semantic Distraction
• Title（参考訳）: DistractMIA:セマンティック・ディトラクションによる視覚言語モデルにおけるブラックボックスメンバーシップ推論
• Authors: Hongyi Tang, Zhihao Zhu, Yi Yang,
• Abstract要約: 視覚言語モデル(VLM)は、プライベート、著作権、その他の機密データを含む大規模な画像テキストコーパスで訓練される。 本研究では,意味的注意散らしに基づく出力専用ブラックボックスフレームワークDistractMIAを提案する。 DistractMIAは元のイメージを保存し、既知のセマンティックイントラクタを挿入し、生成したレスポンスがどのように変化するかを測定する。
• 参考スコア（独自算出の注目度）: 9.614855021411351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) are trained on large-scale image-text corpora that may contain private, copyrighted, or otherwise sensitive data, motivating membership inference as a tool for training-data auditing. This is especially challenging for deployed VLMs, where auditors typically observe only generated textual responses. Existing VLM membership inference attacks either rely on probability-level signals unavailable in such settings, or use mask-based semantic prediction tasks whose effectiveness depends on object-centric visual assumptions. To address these limitations, we propose DistractMIA, an output-only black-box framework based on semantic distraction. Rather than removing visual evidence, DistractMIA preserves the original image, inserts a known semantic distractor, and measures how generated responses change. This design is motivated by the intuition that member samples remain more anchored to the original image semantics, while non-member samples are more easily redirected toward the distractor. To make this signal reliable, DistractMIA calibrates distractor configurations on a reference set and derives membership scores from repeated textual generations, capturing response stability and distractor uptake without accessing logits, probabilities, or hidden states. Experiments across multiple VLMs and benchmarks show that DistractMIA consistently outperforms both output-only and stronger-access baselines. Its performance on a medical benchmark further demonstrates applicability beyond object-centric natural images.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、個人、著作権、その他の機密データを含む大規模な画像テキストコーパスに基づいて訓練され、トレーニングデータ監査のツールとしてメンバーシップ推論を動機付けている。 これは、監査人が生成したテキスト応答のみを観察する、デプロイされたVLMにとって特に困難である。 既存のVLMメンバシップ推論攻撃は、そのような設定で利用できない確率レベル信号に依存するか、またはオブジェクト中心の視覚的仮定に依存するマスクベースのセマンティック予測タスクを使用する。 これらの制約に対処するために,意味的障害に基づく出力専用ブラックボックスフレームワークDistractMIAを提案する。 DistractMIAは、視覚的エビデンスを取り除くのではなく、元のイメージを保存し、既知のセマンティックインタプリタを挿入し、生成した応答がどのように変化するかを測定する。 このデザインは、メンバーサンプルが元のイメージセマンティクスにより固定されたままであり、非メンバーサンプルはイントラクタに対してより容易にリダイレクトされるという直感に動機付けられている。 この信号の信頼性を高めるため、DistractMIAは基準セット上のインタラプタ構成を校正し、繰り返しテキスト世代からメンバシップスコアを導出し、ロジットや確率、隠蔽状態にアクセスせずに応答安定性とインタラプタの取り込みをキャプチャする。 複数のVLMとベンチマークの実験により、DistractMIAは出力のみのベースラインとより強力なアクセスベースラインの両方を一貫して上回っていることが示されている。 医用ベンチマークのパフォーマンスは、オブジェクト中心の自然なイメージを越えて適用可能であることをさらに示している。

関連論文リスト

• Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
  大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。 これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
  論文  参考訳（メタデータ） (2026-05-09T14:32:36Z)
• DPM++: Dynamic Masked Metric Learning for Occluded Person Re-identification [32.9985650634494]
  DPM++は、排除された人物の再識別のための動的マスクドメトリックラーニングフレームワークである。 入力適応マスク付きメトリックを学習し、隠蔽されたインスタンスごとに信頼性の高いIDサブスペースを動的に選択する。 全体的なシナリオと排他的シナリオの両方において、従来の最先端の手法を一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-07T17:47:23Z)
• Membership Inference Attacks against Large Audio Language Models [50.84901010528239]
  大規模音声言語モデル(LALM)のMIA評価について述べる。 テキスト,スペクトル,韻律的特徴に基づくマルチモーダルブラインドベースラインを用いて,一般的な音声データセットがほぼ完璧な列車/テスト分離性を示すことを示す。 以上の結果から, LALM検査の基準基準が確立された。
  論文  参考訳（メタデータ） (2026-03-30T12:45:28Z)
• Seeing to Ground: Visual Attention for Hallucination-Resilient MDLLMs [47.94507630961399]
  トレーニング不要なデコードフレームワークであるVISAGEを導入し、推論時に目的を校正する。 我々は、VISAGEが推定誤差の下で有界目的損失を維持することを保証する解析的安定性を保証する。 幻覚感受性および汎用ベンチマークによる評価は、フレームワークの堅牢性を示している。
  論文  参考訳（メタデータ） (2026-03-26T17:53:49Z)
• AUVIC: Adversarial Unlearning of Visual Concepts for Multi-modal Large Language Models [63.05306474002547]
  を強制する規制フレームワークは、機械学習の必要性を喚起します。 AUVICはMLLMのための新しい視覚概念アンラーニングフレームワークである。 AUVICは,非ターゲット概念の性能劣化を最小限に抑えつつ,最先端の目標忘れ率を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-14T13:35:32Z)
• Context-aware TFL: A Universal Context-aware Contrastive Learning Framework for Temporal Forgery Localization [60.73623588349311]
  本研究では,時間的フォージェリーローカライゼーションのための共通文脈対応コントラスト学習フレームワーク (UniCaCLF) を提案する。 提案手法は教師付きコントラスト学習を利用して,異常検出による偽造瞬間の検出と同定を行う。 実物と偽物との間における特徴の識別可能性の限界をさらに押し上げるために、効率的な文脈対応コントラスト符号化を導入する。
  論文  参考訳（メタデータ） (2025-06-10T06:40:43Z)
• PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models [27.338242898495448]
  マルチモーダル大規模言語モデル (MLLM) は視覚言語タスクにおいて顕著な成功を収めた。 膨大なインターネットソースデータへの依存は、プライバシーとセキュリティの重大な懸念を引き起こす。 マシン・アンラーニング(MU)はこれらの問題に対処するための重要な手法として登場した。 PEBenchはMLLMにおけるMUの徹底的な評価を容易にするために設計された新しいベンチマークである。
  論文  参考訳（メタデータ） (2025-03-16T15:26:20Z)
• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。