論文の概要: VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering

• arxiv url: http://arxiv.org/abs/2603.13385v1
• Date: Wed, 11 Mar 2026 05:47:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.149265
• Title: VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering
• Title（参考訳）: VisualLeakBench: PII漏洩と社会工学に対する大規模視覚言語モデルの脆弱性の検証
• Authors: Youting Wang, Yuan Tang, Yitian Qian, Chen Zhao,
• Abstract要約: VisualLeakBenchは、OCRインジェクションとContextual PII Leakageに対してLVLMを監査するための評価スイートである。 8種類のPII型を持つ合成逆画像1,000枚を用いて,実世界の実画像50枚に検証を行った。 我々は、再現可能な堅牢性と、デプロイメント関連視覚言語システムの安全性評価のためのデータセットとコードをリリースする。
• 参考スコア（独自算出の注目度）: 14.756677328512907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Vision-Language Models (LVLMs) are increasingly deployed in agent-integrated workflows and other deployment-relevant settings, their robustness against semantic visual attacks remains under-evaluated -- alignment is typically tested on explicit harmful content rather than privacy-critical multimodal scenarios. We introduce VisualLeakBench, an evaluation suite to audit LVLMs against OCR Injection and Contextual PII Leakage using 1,000 synthetically generated adversarial images with 8 PII types, validated on 50 in-the-wild (IRL) real-world screenshots spanning diverse visual contexts. We evaluate four frontier systems (GPT-5.2, Claude~4, Gemini-3 Flash, Grok-4) with Wilson 95% confidence intervals. Claude~4 achieves the lowest OCR ASR (14.2%) but the highest PII ASR (74.4%), exhibiting a comply-then-warn pattern -- where verbatim data disclosure precedes any safety-oriented language. Grok-4 achieves the lowest PII ASR (20.4%). A defensive system prompt eliminates PII leakage for two models, reduces Claude~4's leakage from 74.4% to 2.2%, but has no effect on Gemini-3 Flash on synthetic data. Strikingly, IRL validation reveals Gemini-3 Flash does respond to mitigation on real-world images (50% to 0%), indicating that mitigation robustness is template-sensitive rather than uniformly absent. We release our dataset and code for reproducible robustness and safety evaluation of deployment-relevant vision-language systems.
• Abstract（参考訳）: エージェント統合ワークフローやその他のデプロイメント関連設定にLVLM(Large Vision-Language Models)がますますデプロイされているため、セマンティックビジュアルアタックに対する堅牢性は評価が低く、一般的にはプライバシクリティカルなマルチモーダルシナリオではなく、明白な有害なコンテンツに対してテストされる。 我々は,OCRインジェクションとコンテキストPIIリークに対するLVLMの評価スイートであるVisualLeakBenchを紹介する。 我々はWilson 95%の信頼区間を持つ4つのフロンティアシステム (GPT-5.2, Claude~4, Gemini-3 Flash, Grok-4) を評価する。 Claude~4 は OCR ASR (14.2%) が最も低いが、PII ASR (74.4%) が最も高い。 Grok-4は最低のPII ASR(20.4%)を達成している。 防衛システムは2つのモデルのPIIリークを迅速に排除し、Claude~4のリークを74.4%から2.2%に削減するが、合成データに対するGemini-3 Flashには何の影響も与えない。 興味深いことに、IRLバリデーションは、Gemini-3 Flashが現実世界のイメージの緩和(50%から0%)に反応していることを明らかにし、緩和ロバスト性は均一に欠落するよりもテンプレートに敏感であることを示している。 我々は、再現可能な堅牢性と、デプロイメント関連視覚言語システムの安全性評価のためのデータセットとコードをリリースする。

関連論文リスト

• VLSU: Mapping the Limits of Joint Multimodal Understanding for AI Safety [3.1109025622085693]
  マルチモーダル安全性を評価する包括的フレームワークであるVision Language Safety Understandingを提案する。 11種類の最先端モデルについて評価した結果, 系統的な共同理解の失敗が判明した。 我々のフレームワークは、現在のモデルにおける共同画像テキスト理解とアライメントギャップの弱点を明らかにする。
  論文  参考訳（メタデータ） (2025-10-21T01:30:31Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation [0.8087612190556891]
  VADERは174の現実世界のソフトウェア脆弱性で構成されており、それぞれがGitHubから慎重にキュレーションされ、セキュリティ専門家によって注釈付けされている。 各脆弱性ケースに対して、モデルは欠陥を特定し、Common Weaknession(CWE)を使用して分類し、その根本原因を説明し、パッチを提案し、テストプランを策定する。 ワンショットプロンプト戦略を用いて、VADER上で6つの最先端LCM(Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, o3)をベンチマークする。 我々の結果は現在の状態を示している。
  論文  参考訳（メタデータ） (2025-05-26T01:20:44Z)
• Exploring Visual Vulnerabilities via Multi-Loss Adversarial Search for Jailbreaking Vision-Language Models [92.79804303337522]
  VLM(Vision-Language Models)は、安全アライメントの問題に対して脆弱である。 本稿では、シナリオ認識画像生成を利用したセマンティックアライメントのための新しいジェイルブレイクフレームワークであるMLAIを紹介する。 大規模な実験はMLAIの重大な影響を示し、MiniGPT-4で77.75%、LLaVA-2で82.80%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-11-27T02:40:29Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。