論文の概要: Model Inversion Attacks on Vision-Language Models: Do They Leak What They Learn?

• arxiv url: http://arxiv.org/abs/2508.04097v1
• Date: Wed, 06 Aug 2025 05:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.557148
• Title: Model Inversion Attacks on Vision-Language Models: Do They Leak What They Learn?
• Title（参考訳）: ビジョンランゲージモデルによるモデル反転攻撃:学習内容の漏洩は可能か?
• Authors: Ngoc-Bao Nguyen, Sy-Tuyen Ho, Koh Jun Hao, Ngai-Man Cheung,
• Abstract要約: モデル反転(MI)攻撃は、トレーニングされたニューラルネットワークからプライベートトレーニングデータを再構築することで、重大なプライバシーリスクを引き起こす。 視覚訓練データを漏洩する際の視覚言語モデル(VLM)の脆弱性を理解するための最初の研究を行う。 本稿では,新しいトークンベースおよびシーケンスベースモデルインバージョン戦略を提案する。
• 参考スコア（独自算出の注目度）: 22.1843868052012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model inversion (MI) attacks pose significant privacy risks by reconstructing private training data from trained neural networks. While prior works have focused on conventional unimodal DNNs, the vulnerability of vision-language models (VLMs) remains underexplored. In this paper, we conduct the first study to understand VLMs' vulnerability in leaking private visual training data. To tailored for VLMs' token-based generative nature, we propose a suite of novel token-based and sequence-based model inversion strategies. Particularly, we propose Token-based Model Inversion (TMI), Convergent Token-based Model Inversion (TMI-C), Sequence-based Model Inversion (SMI), and Sequence-based Model Inversion with Adaptive Token Weighting (SMI-AW). Through extensive experiments and user study on three state-of-the-art VLMs and multiple datasets, we demonstrate, for the first time, that VLMs are susceptible to training data leakage. The experiments show that our proposed sequence-based methods, particularly SMI-AW combined with a logit-maximization loss based on vocabulary representation, can achieve competitive reconstruction and outperform token-based methods in attack accuracy and visual similarity. Importantly, human evaluation of the reconstructed images yields an attack accuracy of 75.31\%, underscoring the severity of model inversion threats in VLMs. Notably we also demonstrate inversion attacks on the publicly released VLMs. Our study reveals the privacy vulnerability of VLMs as they become increasingly popular across many applications such as healthcare and finance.
• Abstract（参考訳）: モデル反転(MI)攻撃は、トレーニングされたニューラルネットワークからプライベートトレーニングデータを再構築することで、重大なプライバシーリスクを引き起こす。 これまでの研究は、従来の単調なDNNに重点を置いていたが、視覚言語モデル(VLM)の脆弱性は未解明のままである。 本稿では,私的視覚訓練データの漏洩におけるVLMの脆弱性を理解するための最初の研究を行う。 VLMのトークンベース生成特性に合わせて,新しいトークンベースおよびシーケンスベースモデル逆変換手法を提案する。 特に,Token-based Model Inversion (TMI), Convergent Token-based Model Inversion (TMI-C), Sequence-based Model Inversion (SMI), Sequence-based Model Inversion with Adaptive Token Weighting (SMI-AW)を提案する。 3つの最先端のVLMと複数のデータセットに関する広範な実験とユーザスタディを通じて、初めて、VLMがデータ漏洩のトレーニングに耐えられることを実証した。 実験の結果,提案手法,特にSMI-AWと語彙表現に基づくロジット最大化損失が組み合わさって,攻撃精度と視覚的類似性において,競合的再構成とトークンベースの手法より優れていることがわかった。 重要なことに、再構成された画像の人間による評価は、VLMのモデル反転脅威の深刻さを裏付ける攻撃精度75.31\%を与える。 特に、公開されたVLMに対する逆攻撃を実演する。 我々の研究は、医療やファイナンスといった多くのアプリケーションで普及するにつれて、VLMのプライバシーの脆弱性を明らかにする。

関連論文リスト

• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Breaking the Gold Standard: Extracting Forgotten Data under Exact Unlearning in Large Language Models [26.5039481643457]
  我々は、さらに正確な未学習を損なう新しいデータ抽出攻撃を導入する。 模擬診断データセット上での攻撃の有効性を実証する。
  論文  参考訳（メタデータ） (2025-05-30T09:09:33Z)
• Model Inversion Attacks: A Survey of Approaches and Countermeasures [59.986922963781]
  近年、新しいタイプのプライバシ攻撃であるモデル反転攻撃(MIA)は、トレーニングのためのプライベートデータの機密性を抽出することを目的としている。 この重要性にもかかわらず、総合的な概要とMIAに関する深い洞察を提供する体系的な研究が欠如している。 本調査は、攻撃と防御の両方において、最新のMIA手法を要約することを目的としている。
  論文  参考訳（メタデータ） (2024-11-15T08:09:28Z)
• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [92.99416966226724]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• Backdooring Vision-Language Models with Out-Of-Distribution Data [44.40928756056506]
  視覚言語モデル(VLM)は視覚入力から詳細なテキスト記述を生成する。 重要性は増しているが、特にバックドア攻撃に対するVLMの安全性は検討中である。 VLOOD(Backdooring Vision-Language Models with Out-of-Distribution Data)は、2つの重要なコントリビューションを持つ新しいアプローチである。
  論文  参考訳（メタデータ） (2024-10-02T06:21:00Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Reinforcement Learning-Based Black-Box Model Inversion Attacks [23.30144908939099]
  モデル反転攻撃は、機械学習モデルのトレーニングに使用されるプライベートデータを再構築する。 パブリックデータセットから知識を抽出するためにGAN(Generative Adversarial Networks)を利用したホワイトボックスモデルインバージョン攻撃が注目されている。 強化学習に基づくブラックボックスモデルインバージョン攻撃を提案する。
  論文  参考訳（メタデータ） (2023-04-10T14:41:16Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。