論文の概要: PriMobiBench: Characterizing Visual Privacy Leakage in VLM-Driven Mobile GUI Agents
- arxiv url: http://arxiv.org/abs/2609.13873v1
- Date: Sat, 12 Sep 2026 10:55:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.595289
- Title: PriMobiBench: Characterizing Visual Privacy Leakage in VLM-Driven Mobile GUI Agents
- Title（参考訳）: PriMobiBench: VLM駆動モバイルGUIエージェントにおける視覚的プライバシ漏洩の特徴
- Abstract要約: スクリーンショット駆動型モバイルエージェントにおけるプライバシリークとビジュアルプロファイリングを評価するための最初のベンチマークであるPriMobiBenchを紹介する。
また、MobiLeakは16のアプリの実行トレースのデータセットで、25のプライバシ属性と2,960の組み込みプライバシインスタンスをカバーしています。
- 参考スコア（独自算出の注目度）: 18.88920135607137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mobile GUI agents increasingly rely on Vision-Language Models (VLMs) to automate smartphone tasks by interpreting screenshot streams. However, this design introduces serious and underexplored privacy risks, including direct leakage of sensitive on-screen information and unintended user profiling. The absence of standardized benchmarks makes it difficult to quantify these risks in realistic mobile agent workflows. To address this gap, we propose PriMobiBench, the first benchmark for systematically evaluating privacy leakage and visual profiling in screenshot-driven mobile agents. It provides a unified pipeline for data generation, agent trajectory construction, and multi-model evaluation. We also introduce MobiLeak, a dataset of execution traces from 16 apps, covering 25 privacy attributes with 2,960 embedded privacy instances. Our results reveal substantial risks: (1) VLMs can directly extract sensitive information with up to 82.5% success rate; (2) beyond explicit leakage, they can infer user profiles from aggregated visual evidence with approximately 70% success. We further propose a mitigation that masks privacy-sensitive but task-irrelevant UI elements before cloud processing, reducing profiling success by up to 58% with only approximately 8% performance loss. Overall, our work provides the first systematic benchmark for visual privacy risks in mobile GUI agents, demonstrates that both leakage and profiling are feasible at a highly concerning level, and offers a practical direction for mitigation.
- Abstract（参考訳）: モバイルGUIエージェントは、スクリーンショットストリームを解釈してスマートフォンタスクを自動化するために、ビジョンランゲージモデル(VLM)にますます依存している。
しかし、この設計では、センシティブなオンスクリーン情報の直接リークや意図しないユーザープロファイリングなど、重大で未調査のプライバシーリスクが導入されている。
標準化されたベンチマークがないため、現実的なモバイルエージェントワークフローにおいてこれらのリスクを定量化するのは難しい。
このギャップに対処するため、スクリーンショット駆動型モバイルエージェントにおいて、プライバシリークとビジュアルプロファイリングを体系的に評価する最初のベンチマークであるPriMobiBenchを提案する。
データ生成、エージェント軌道構築、マルチモデル評価のための統一パイプラインを提供する。
また、MobiLeakは16のアプリの実行トレースのデータセットで、25のプライバシ属性と2,960の組み込みプライバシインスタンスをカバーしています。
その結果,(1) VLMは82.5%の成功率の機密情報を直接抽出できる,(2) 明示的な漏洩だけでなく, 約70%の成功率の集合的な視覚的証拠からユーザプロファイルを推測できる,という大きなリスクが明らかになった。
さらに、クラウド処理の前にプライバシに敏感だがタスクに無関係なUI要素を隠蔽し、プロファイリングの成功を最大58%削減し、パフォーマンス損失は8%に過ぎません。
全体として、我々の研究は、モバイルGUIエージェントの視覚的プライバシリスクに関する最初の体系的なベンチマークを提供し、リークとプロファイリングの両方が高い関係レベルで実現可能であることを示し、緩和のための実用的な方向を提供する。
関連論文リスト
- CAPED: Context-Aware Privacy Exposure Defense for Mobile GUI Agents [6.4324284621588745]
スクリーンショットベースのモバイルGUIエージェントは、通常のスマートフォンアプリを人間のユーザと同じビジュアルインターフェースで操作することができる。
スクリーンショットは、連絡先、メッセージ、写真、ファイル、レコメンデーション、ヘルスキュー、その他のユーザーの要求に関係のないセンシティブなコンテキストを公開することができる。
本稿では,モバイルGUIエージェントのための環境対応プレロード露光制御層であるCAPEDを提案する。
論文 参考訳（メタデータ） (2026-06-10T20:48:39Z) - Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges [55.425628316813174]
MLLM(Multi-modal Large Language Models)は、テキストと画像の両方を処理する。
テキストのみのモデルと比較して、MLLMは画像に埋め込まれた機密情報を抽出し、公開することができる。
一部のMLLMはプライバシー侵害の影響を受けやすく、画像やメモリに埋め込まれた機密データを漏洩させる。
論文 参考訳（メタデータ） (2026-06-08T07:19:42Z) - Don't Trust Us: A privacy-by-design android malware detection pipeline [0.7009487789080343]
既存のプライバシ対応アプローチは、一般的にデータ収集後にプライバシを強制する。
この要件は管理するよりも取り除くべきだと我々は主張する。
Androidのマルウェア検出は、設計上プライバシに注意する必要があるため、効果的な分析は、そもそもアクセスされている機密データに依存しない。
論文 参考訳（メタデータ） (2026-06-02T14:36:31Z) - PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。
既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。
LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
論文 参考訳（メタデータ） (2026-05-29T04:55:12Z) - Do Phone-Use Agents Respect Your Privacy? [97.81424230136075]
我々は,モバイルエージェントのプライバシ行動を評価するための検証可能なフレームワークであるMyPhoneBenchを紹介する。
プライバシを無視する電話を、最小限のプライバシ契約によって許可されたアクセス、最小限の開示、およびユーザ制御メモリとして運用する。
10のモバイルアプリと300のタスクで5つのフロンティアモデルにまたがって、タスクの成功、プライバシに準拠したタスク補完、保存された好みの後での利用が、それぞれ異なる機能であることに気付きました。
論文 参考訳（メタデータ） (2026-04-01T14:50:50Z) - Anonymization-Enhanced Privacy Protection for Mobile GUI Agents: Available but Invisible [12.742325129012576]
Mobile Graphical User Interface (GUI)エージェントは、複雑なスマートフォンタスクを自動化する強力な機能を示している。
本稿では,機密データへのアクセスの原則を強制する匿名化に基づくプライバシー保護フレームワークを提案する。
本システムは,PII認識モデルを用いてセンシティブなUIコンテンツを検出し,それを決定論的型保存プレースホルダーに置き換える。
論文 参考訳（メタデータ） (2026-02-08T15:50:04Z) - Hijacking JARVIS: Benchmarking Mobile GUI Agents against Unprivileged Third Parties [19.430061128447022]
本稿では,モバイルGUIエージェントの脆弱性に関する最初の系統的研究について述べる。
本稿では,スケーラブルな攻撃シミュレーションフレームワークであるAgentHazardを紹介した。
動的タスク実行環境と攻撃シナリオの静的データセットの両方からなるベンチマークスイートを開発する。
以上の結果から, 調査対象となったエージェントは, 誤解を招く第三者コンテンツに大きく影響していることが判明した。
論文 参考訳（メタデータ） (2025-07-06T03:31:36Z) - MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。
まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。
次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
論文 参考訳（メタデータ） (2025-06-25T18:04:25Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳（メタデータ） (2025-06-16T08:09:32Z) - AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。
我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
論文 参考訳（メタデータ） (2025-03-12T19:30:31Z) - {A New Hope}: Contextual Privacy Policies for Mobile Applications and An
Approach Toward Automated Generation [19.578130824867596]
コンテキストプライバシポリシ(CPP)の目的は、プライバシポリシを簡潔なスニペットに断片化し、アプリケーションのグラフィカルユーザインターフェース(GUI)内の対応するコンテキスト内でのみ表示することである。
本稿では,モバイルアプリケーションシナリオでCPPを初めて定式化し,モバイルアプリケーション用のCPPを自動生成するSeePrivacyという新しいマルチモーダルフレームワークを提案する。
人間の評価では、抽出されたプライバシーポリシーセグメントの77%が、検出されたコンテキストと適切に一致していると認識されている。
論文 参考訳（メタデータ） (2024-02-22T13:32:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。