論文の概要: VisualLeakBench: Reproducible Action-Boundary Propagation Failures in Vision-Language Agents

• arxiv url: http://arxiv.org/abs/2606.07595v1
• Date: Fri, 29 May 2026 05:17:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.758376
• Title: VisualLeakBench: Reproducible Action-Boundary Propagation Failures in Vision-Language Agents
• Title（参考訳）: VisualLeakBench:ビジョンランゲージエージェントにおける再現可能なアクション境界伝播障害
• Abstract要約: 視覚言語エージェントは、メモリへの書き込み、メッセージの送信、外部ツールの呼び出しに先立って、スクリーンショット、ドキュメント、ユーザーインターフェースをますます消費する。 本研究では、画像から下流ツール引数に機密または安全でない可視テキストをコピーするアクション境界伝搬という、具体的な障害モードについて検討する。 私たちは、UI、チャット、ドキュメント、フォーム、ダッシュボードのシーンにまたがる、多様化した500イメージのベンチマークであるVisualLeakBenchを紹介します。
• 参考スコア（独自算出の注目度）: 14.756677328512907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language agents increasingly consume screenshots, documents, and user interfaces before writing to memory, sending messages, or invoking external tools. We study a concrete failure mode in this setting: action-boundary propagation, where sensitive or unsafe visible text is copied from an image into downstream tool arguments. We present VisualLeakBench, a diversified 500-image benchmark spanning UI, chat, document, form, and dashboard scenes, and evaluate a stratified 100-image agent subset with four production VLM systems under two workflows: note capture and external handoff. At baseline, target strings are propagated into tool arguments in 78.8% of PII cases and 85.5% of rendered unsafe-text cases. Under a defensive system prompt, rendered unsafe-text propagation remains high at 52.6%, while PII tool propagation falls to 2.0%, largely by suppressing tool use rather than preserving utility. Rates are tool-surface dependent: search-like tools suppress PII propagation, but rendered unsafe text still crosses tool boundaries. We measure visual-to-tool propagation rather than downstream instruction execution. We additionally provide a labeled-target oracle upper-bound diagnostic that localizes most failures at the tool boundary while leaving response-side leakage as residual risk.
• Abstract（参考訳）: 視覚言語エージェントは、メモリへの書き込み、メッセージの送信、外部ツールの呼び出しに先立って、スクリーンショット、ドキュメント、ユーザーインターフェースをますます消費する。 本研究では、画像から下流ツール引数に機密または安全でない可視テキストをコピーするアクション境界伝搬という、具体的な障害モードについて検討する。 本稿では,UI,チャット,ドキュメント,フォーム,ダッシュボードシーンにまたがる500イメージの多角化ベンチマークであるVisualLeakBenchについて紹介する。 ベースラインでは、ターゲット文字列は78.8%のPIIケースと85.5%の非安全テキストケースでツール引数に伝播する。 防御システムのプロンプトの下では、レンダリングされた安全でないテキストの伝搬は52.6%と高いままであり、PIIツールの伝搬は、ユーティリティを保存するのではなくツールの使用を抑制することによって、2.0%に低下する。 検索のようなツールはPIIの伝搬を抑制するが、レンダリングされた安全でないテキストはツールの境界を越えている。 ダウンストリーム命令の実行よりも視覚とツールの伝搬を計測する。 また,ツール境界におけるほとんどの障害を局所化し,応答側リークを残存リスクとして残すラベル付きオラクル上界診断も提供する。

関連論文リスト

• AgentHijack: Visual Patch Attacks on Multimodal Computer-Use Agents [16.16124779587767]
  本稿では,コンピュータ利用エージェント(CUA)に対する画像トリガーコマンドインジェクションのためのエンドツーエンド評価フレームワークを提案する。 目標は、スクリーンショット入力、VLM生成、アクション解析、環境実行の全チェーンに沿って、ローカルなビジュアルパッチが検証可能な環境効果を誘導できるかどうかをテストすることである。
  論文  参考訳（メタデータ） (2026-09-06T03:49:45Z)
• When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
  視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。 マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。 我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。 このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
  論文  参考訳（メタデータ） (2026-09-03T03:58:56Z)
• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• Thinking With Tools, Not With Pixels: Tool Calls as Text Scaffolds for Visual Reasoning [75.00741348880044]
  ツール強化された視覚言語モデル、ますます「イメージで考える」 近年、ブラインドテスト、ゲイン分解、アテンション分析による研究により、返却画像はほとんど寄与していないことが示された。 我々は、返却されたピクセルが到着する前に出力される構造化されたテキストである、と仮定する。
  論文  参考訳（メタデータ） (2026-08-10T14:52:10Z)
• Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents [21.622196229181103]
  我々は、スキーマフォーマットのツール仕様を、エージェントの安全性劣化の主な原因として特定する。 ツール実行から安全判断を分離する推論時セーフガードであるSafeKeepを提案する。 有害な要求に対する平均拒絶率を23.8%から70.6%に引き上げ、観察レベルのプロンプト注入による平均攻撃成功率を25.6%から2.5%に下げる。
  論文  参考訳（メタデータ） (2026-07-31T10:25:04Z)
• Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning [48.99783163807576]
  クロスツール記述中毒は、エージェントの軌道を操縦するためにプランナー可視のツールメタデータを操作することができる。 重要な観察は、有毒な記述がステップを越えた計画コンテキストに留まり、その後のツール選択に対する継続的な影響を可能にすることである。 我々は,孤立計画と呼ばれる新しい概念に基づく新しいシステムレベルの防衛ツールであるTool-Guardを提案する。
  論文  参考訳（メタデータ） (2026-06-18T20:31:08Z)
• SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
  大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。 Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。 我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
  論文  参考訳（メタデータ） (2026-06-15T11:37:37Z)
• Context-Fractured Decomposition Attacks on Tool-Using LLM Agents: Exploiting Artifact Provenance Gaps [10.07589034106101]
  ジェイルブレイクの防御は、孤立したテキストではなく、クロスステップの構成について理にかなっている必要がある。 ツール利用 LLM エージェントのデプロイ障害モード, 改善ギャップを運用する。 トレースレベルの診断で障害モードを計測し、検証可能な緩和方向を概説する。
  論文  参考訳（メタデータ） (2026-06-08T06:29:42Z)
• ToolGate: Token-Efficient Pre-Call Control for Tool-Augmented Vision-Language Agents [9.793491545168575]
  ToolGateは、軌道テキストと単純な構造的特徴から実行/スキップの決定を予測する。 2つのQwen3-VLバックボーンで、ToolGateはトークンコストを制限なしのReActベースラインの64-69%に削減する。
  論文  参考訳（メタデータ） (2026-06-02T02:44:27Z)
• Memory-Induced Tool-Drift in LLM Agents [16.757958713462894]
  メモリに格納されたパーソナリティ駆動バイアスは、適用できないコンテキストにおけるツールコールに静かに影響する。 機械的に、バイアスドメモリは暗黙のステアリングベクトルとして働き、明示的な行動指示と同じ潜在方向に沿ってアクティベーションをプッシュする。 エージェントがユーザの代理として連続的なアクションを取るようになると、メモリ誘発ツールドリフトは体系的な脆弱性を表す。
  論文  参考訳（メタデータ） (2026-05-24T08:41:39Z)
• BodhiPromptShield: Pre-Inference Prompt Mediation for Suppressing Privacy Propagation in LLM/VLM Agents [7.172756746172751]
  BodhiPromptShieldはポリシー対応のフレームワークで、センシティブなスパンを検出し、型付きプレースホルダー、セマンティック抽象化、セキュアなシンボルマッピングを通じてルーティングする。 企業の再アクションとは対照的に、明示的な伝搬対応の仲介と復元のタイミングをセキュリティ変数として追加する。
  論文  参考訳（メタデータ） (2026-04-07T12:29:56Z)
• VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering [14.756677328512907]
  VisualLeakBenchは、OCRインジェクションとContextual PII Leakageに対してLVLMを監査するための評価スイートである。 8種類のPII型を持つ合成逆画像1,000枚を用いて,実世界の実画像50枚に検証を行った。 我々は、再現可能な堅牢性と、デプロイメント関連視覚言語システムの安全性評価のためのデータセットとコードをリリースする。
  論文  参考訳（メタデータ） (2026-03-11T05:47:24Z)
• ForgeryVCR: Visual-Centric Reasoning via Efficient Forensic Tools in MLLMs for Image Forgery Detection and Localization [62.03035862528452]
  ForgeryVCRは、視覚中心推論(Visual-Centric Reasoning)を通じて、知覚できないトレースを明示的な視覚中間体に物質化するフレームワークである。 ForgeryVCRは、検出タスクとローカライゼーションタスクの両方において、最先端(SOTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-15T11:14:47Z)
• Prompt Injection Attack to Tool Selection in LLM Agents [60.95349602772112]
  一般的なアプローチは、与えられたタスクに対してツールライブラリから最も適切なツールを選択するための2段階のプロセス(式と例選択)に従う。 本研究では、no-boxシナリオにおける新しいプロンプトインジェクション攻撃ツール選択であるtextitToolHijackerを紹介する。
  論文  参考訳（メタデータ） (2025-04-28T13:36:43Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Toward Real Text Manipulation Detection: New Dataset and New Solution [58.557504531896704]
  プロフェッショナルなテキスト操作に関連する高コストは、現実世界のデータセットの可用性を制限する。 本稿では,14,250枚のテキスト画像を含むリアルテキスト操作データセットを提案する。 我々のコントリビューションは、実世界のテキスト改ざん検出の進歩を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-12T02:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。