論文の概要: Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

• arxiv url: http://arxiv.org/abs/2511.20710v1
• Date: Mon, 24 Nov 2025 22:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.777062
• Title: Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?
• Title（参考訳）: ニューロインスパイアされたマルチモーダルビジョンランゲージモデルは、メンバーシップ推論プライバシリークに耐性があるか?
• Authors: David Amebley, Sayanton Dibbo,
• Abstract要約: 本稿では,マルチモーダル視覚言語モデル(VLM)に対するブラックボックスプライバシ攻撃について検討する。 本稿では,MM VLMのレジリエンスをプライバシ攻撃に対して解析するための,神経科学にヒントを得たトポロジカル正規化フレームワークを提案する。 以上の結果から,神経性VLMはプライバシ攻撃に対して比較的耐性が高いが,モデルの有用性は著しくは向上していない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the age of agentic AI, the growing deployment of multi-modal models (MMs) has introduced new attack vectors that can leak sensitive training data in MMs, causing privacy leakage. This paper investigates a black-box privacy attack, i.e., membership inference attack (MIA) on multi-modal vision-language models (VLMs). State-of-the-art research analyzes privacy attacks primarily to unimodal AI-ML systems, while recent studies indicate MMs can also be vulnerable to privacy attacks. While researchers have demonstrated that biologically inspired neural network representations can improve unimodal model resilience against adversarial attacks, it remains unexplored whether neuro-inspired MMs are resilient against privacy attacks. In this work, we introduce a systematic neuroscience-inspired topological regularization (tau) framework to analyze MM VLMs resilience against image-text-based inference privacy attacks. We examine this phenomenon using three VLMs: BLIP, PaliGemma 2, and ViT-GPT2, across three benchmark datasets: COCO, CC3M, and NoCaps. Our experiments compare the resilience of baseline and neuro VLMs (with topological regularization), where the tau > 0 configuration defines the NEURO variant of VLM. Our results on the BLIP model using the COCO dataset illustrate that MIA attack success in NEURO VLMs drops by 24% mean ROC-AUC, while achieving similar model utility (similarities between generated and reference captions) in terms of MPNet and ROUGE-2 metrics. This shows neuro VLMs are comparatively more resilient against privacy attacks, while not significantly compromising model utility. Our extensive evaluation with PaliGemma 2 and ViT-GPT2 models, on two additional datasets: CC3M and NoCaps, further validates the consistency of the findings. This work contributes to the growing understanding of privacy risks in MMs and provides evidence on neuro VLMs privacy threat resilience.
• Abstract（参考訳）: エージェントAIの時代、マルチモーダルモデル(MM)の展開が増加する中で、新たな攻撃ベクトルが導入され、MM内のセンシティブなトレーニングデータを漏洩させ、プライバシの漏洩を引き起こす。 本稿では,マルチモーダル視覚言語モデル(VLM)におけるブラックボックスプライバシ攻撃,すなわちメンバシップ推論攻撃(MIA)について検討する。 最先端の研究は、主に不正なAI-MLシステムに対するプライバシ攻撃を分析し、最近の研究では、MMはプライバシ攻撃にも脆弱であることを示している。 生物学的にインスパイアされたニューラルネットワークの表現は、敵対的攻撃に対する不定型モデルのレジリエンスを改善することができることを示したが、神経にインスパイアされたMMがプライバシ攻撃に対して回復力があるかどうかはまだ明らかになっていない。 本研究では、画像テキストに基づく推論プライバシ攻撃に対するMM VLMのレジリエンスを分析するために、体系的な神経科学にヒントを得たトポロジカル正規化(tau)フレームワークを導入する。 BLIP, PaliGemma 2, ViT-GPT2の3つのベンチマークデータセット(COCO, CC3M, NoCaps)を用いて, この現象を検証した。 実験では,ベースラインと神経VLMのレジリエンス(トポロジカル正規化)を比較した。 COCOデータセットを用いたBLIPモデルの結果,NEURO VLMのMIA攻撃成功率は24%減少し,MPNetとROUGE-2の指標で類似したモデルユーティリティ(生成されたキャプションと参照キャプションの類似性)を実現した。 これは、神経性VLMはプライバシ攻撃に対して比較的耐性があることを示しているが、モデルユーティリティーを著しく妥協させるものではない。 PaliGemma 2 と ViT-GPT2 を用いた大規模評価では,CC3M と NoCaps の2つの追加データセットを用いて,結果の整合性をさらに検証した。 この研究は、MMにおけるプライバシーリスクの理解の高まりに寄与し、神経VLMのプライバシー脅威レジリエンスに関する証拠を提供する。

関連論文リスト

• On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
  GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。 差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
  論文  参考訳（メタデータ） (2025-09-03T14:18:22Z)
• Model Inversion Attacks on Vision-Language Models: Do They Leak What They Learn? [22.1843868052012]
  モデル反転(MI)攻撃は、トレーニングされたニューラルネットワークからプライベートトレーニングデータを再構築することで、重大なプライバシーリスクを引き起こす。 視覚訓練データを漏洩する際の視覚言語モデル(VLM)の脆弱性を理解するための最初の研究を行う。 本稿では,新しいトークンベースおよびシーケンスベースモデルインバージョン戦略を提案する。
  論文  参考訳（メタデータ） (2025-08-06T05:30:05Z)
• Do Spikes Protect Privacy? Investigating Black-Box Model Inversion Attacks in Spiking Neural Networks [0.0]
  この研究は、スパイキングニューラルネットワーク(SNN)に対するブラックボックスモデル反転(MI)攻撃の最初の研究である。 我々は、入力変換のためのレートベースの符号化と出力解釈のための復号機構を組み込むことにより、生成逆MIフレームワークをスパイク領域に適用する。 以上の結果から,SNNはANNよりもMI攻撃に対する抵抗性が有意に高いことが示唆された。
  論文  参考訳（メタデータ） (2025-02-08T10:02:27Z)
• Model Inversion Attacks: A Survey of Approaches and Countermeasures [69.18069679327263]
  近年、新しいタイプのプライバシ攻撃であるモデル反転攻撃(MIA)は、トレーニングのためのプライベートデータの機密性を抽出することを目的としている。 この重要性にもかかわらず、総合的な概要とMIAに関する深い洞察を提供する体系的な研究が欠如している。 本調査は、攻撃と防御の両方において、最新のMIA手法を要約することを目的としている。
  論文  参考訳（メタデータ） (2024-11-15T08:09:28Z)
• BrainLeaks: On the Privacy-Preserving Properties of Neuromorphic Architectures against Model Inversion Attacks [3.4673556247932225]
  従来の人工知能ニューラルネットワーク(ANN)は、機密データを漏洩する可能性のあるいくつかの攻撃に対して脆弱であることがわかった。 我々の研究は、スパイキングニューラルネットワーク(SNN)の差別化不可能な側面が、固有のプライバシー保護特性をもたらすという直感に動機づけられている。 我々は、SNNをターゲットとした、包括的に設計された新しい逆攻撃戦略を開発する。
  論文  参考訳（メタデータ） (2024-02-01T03:16:40Z)
• On the Robustness of Large Multimodal Models Against Image Adversarial Attacks [81.2935966933355]
  大規模マルチモーダルモデル(LMM)に対する視覚的敵攻撃の影響について検討する。 一般的に,LMMは視覚的逆入力に対して頑健ではない。 本稿では,クエリ分解と呼ばれる実世界の画像分類への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-06T04:59:56Z)
• On the Sensitivity of Deep Load Disaggregation to Adversarial Attacks [2.389598109913753]
  敵対的攻撃は、コンピュータビジョンや音声認識のような領域において重大な脅威であることが証明されている。 本稿では,FGSM(Fast Gradient Sign Method)を用いて2つのCNNベースのNILMベースラインに入力シーケンスを摂動させる手法を提案する。 以上の結果から,これらのモデルの脆弱性,特にF1スコアの平均20%低下を示すS2Pモデルが示唆された。
  論文  参考訳（メタデータ） (2023-07-14T13:10:01Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。