論文の概要: CAPED: Context-Aware Privacy Exposure Defense for Mobile GUI Agents

• arxiv url: http://arxiv.org/abs/2606.12666v2
• Date: Tue, 16 Jun 2026 03:15:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 15:01:46.619128
• Title: CAPED: Context-Aware Privacy Exposure Defense for Mobile GUI Agents
• Title（参考訳）: CAPED: モバイルGUIエージェントのためのコンテキスト対応のプライバシ・エクスポージャー・ディフェンス
• Authors: Siyu Shen, Fenghao Xu, Wenrui Diao, Kehuan Zhang,
• Abstract要約: スクリーンショットベースのモバイルGUIエージェントは、通常のスマートフォンアプリを人間のユーザと同じビジュアルインターフェースで操作することができる。 スクリーンショットは、連絡先、メッセージ、写真、ファイル、レコメンデーション、ヘルスキュー、その他のユーザーの要求に関係のないセンシティブなコンテキストを公開することができる。 本稿では,モバイルGUIエージェントのための環境対応プレロード露光制御層であるCAPEDを提案する。
• 参考スコア（独自算出の注目度）: 6.4324284621588745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Screenshot-based mobile GUI agents can operate ordinary smartphone apps through the same visual interface as a human user, but this capability also turns every screen observation into a privacy boundary. During normal task execution, screenshots may expose contacts, messages, photos, files, recommendations, health cues, and other sensitive context that is unrelated to the user's request. We call this problem incidental visual privacy exposure. It is difficult to address with existing defenses: text anonymization misses many visual and inferential cues, while generic privacy masking can remove the evidence and controls that a GUI agent needs to complete the task. This paper presents CAPED, a context-aware pre-upload exposure control layer for mobile GUI agents. CAPED is designed as a phone-side protection layer: before screenshots are released to a remote multimodal agent, it extracts task requirements, uses screen context as a privacy prior, parses visible UI elements, and selectively exposes only content needed for the current task while masking incidental private content. We evaluate CAPED on AndroidWorld for broad task utility and with a controlled 28-task seeded privacy evaluation used as a measurement instrument for trajectory-level incidental leakage. In this seeded evaluation, Full CAPED reduces success-conditioned weighted seeded leakage from 0.766 under raw screenshots to 0.268 while preserving high task utility. A broader AndroidWorld run shows a remaining prototype-level utility cost, but the results show that task-driven selective exposure can reduce incidental visual leakage before screenshots are released to a remote GUI agent.
• Abstract（参考訳）: スクリーンショットベースのモバイルGUIエージェントは、人間のユーザと同じビジュアルインターフェースで、通常のスマートフォンアプリを操作できるが、この機能は、すべての画面観察をプライバシー境界にする。 通常のタスク実行中、スクリーンショットは、ユーザの要求とは無関係な連絡先、メッセージ、写真、ファイル、レコメンデーション、ヘルスキュー、その他のセンシティブなコンテキストを公開できる。 私たちはこの問題を視覚的プライバシ暴露と呼ぶ。 テキスト匿名化は多くの視覚的および推論的手がかりを見逃し、一般的なプライバシマスキングはGUIエージェントがタスクを完了するために必要な証拠と制御を取り除くことができる。 本稿では,モバイルGUIエージェントのための環境対応プレロード露光制御層であるCAPEDを提案する。 CAPEDは電話側の保護層として設計されている: リモートマルチモーダルエージェントにスクリーンショットがリリースされる前に、タスク要求を抽出し、画面コンテキストをプライバシとして使用し、可視的なUI要素を解析し、インシデントなプライベートコンテンツを隠蔽しながら、現在のタスクに必要なコンテンツのみを選択的に公開する。 我々は,AndroidWorld上でCAPEDを広範囲なタスクユーティリティとして評価し,トラジェクトリレベルのインシデントリーク計測装置として28タスクのプライバシ評価を制御した。 このシード評価において、Full CAPEDは、成功条件付き重み付きシードドリークを生スクリーンショット下で0.766から0.268に減らし、高いタスクユーティリティを保っている。 より広範なAndroidWorldの実行は、プロトタイプレベルのユーティリティコストの維持を示しているが、結果は、リモートGUIエージェントにスクリーンショットがリリースされる前に、タスク駆動の選択的な露光によって、偶発的な視覚的リークが減少することを示している。

関連論文リスト

• MaskClaw: Edge-Side Personalized Privacy Arbitration for GUI Agents with Behavior-Driven Skill Evolution [16.45561196198935]
  MaskClawはGUIエージェントのためのエッジサイドのプライバシー仲裁ツールである。 ローカルな視覚的証拠を抽出し、ユーザとタスク固有のポリシーメモリを取得し、Allow、Mask、Askを決定する。 5つの設計されたスキル進化シナリオでは、修正、キャンセル、編集を再利用可能なプライバシースキルに変える。
  論文  参考訳（メタデータ） (2026-05-27T15:51:22Z)
• Do Phone-Use Agents Respect Your Privacy? [97.81424230136075]
  我々は,モバイルエージェントのプライバシ行動を評価するための検証可能なフレームワークであるMyPhoneBenchを紹介する。 プライバシを無視する電話を、最小限のプライバシ契約によって許可されたアクセス、最小限の開示、およびユーザ制御メモリとして運用する。 10のモバイルアプリと300のタスクで5つのフロンティアモデルにまたがって、タスクの成功、プライバシに準拠したタスク補完、保存された好みの後での利用が、それぞれ異なる機能であることに気付きました。
  論文  参考訳（メタデータ） (2026-04-01T14:50:50Z)
• Anonymization-Enhanced Privacy Protection for Mobile GUI Agents: Available but Invisible [12.742325129012576]
  Mobile Graphical User Interface (GUI)エージェントは、複雑なスマートフォンタスクを自動化する強力な機能を示している。 本稿では,機密データへのアクセスの原則を強制する匿名化に基づくプライバシー保護フレームワークを提案する。 本システムは,PII認識モデルを用いてセンシティブなUIコンテンツを検出し,それを決定論的型保存プレースホルダーに置き換える。
  論文  参考訳（メタデータ） (2026-02-08T15:50:04Z)
• GUIGuard: Toward a General Framework for Privacy-Preserving GUI Agents [38.42792282309646]
  GUIはよりリッチでアクセスしやすいプライベート情報を公開し、プライバシーリスクはシーケンシャルなシーンにわたるインタラクションの軌跡に依存する。 本稿では,プライバシ認識,プライバシ保護,保護下のタスク実行という,プライバシ保護GUIエージェントのための3段階フレームワークを提案する。 この結果は,GUIエージェントにとって重要なボトルネックとして,プライバシ認識に注目した。
  論文  参考訳（メタデータ） (2026-01-26T11:33:40Z)
• VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation [73.92237451442752]
  この研究は、GUI要素に対するGUIエージェントをマッピングするテキストプランの視覚的基盤が脆弱性をもたらすことを明らかにしている。 視覚的接地を目的としたバックドア攻撃では、適切なタスク解決計画が与えられた場合でもエージェントの行動が損なわれる可能性がある。 そこで我々は,エージェントが意図したターゲットではなく,意図した位置をトリガーするテキストプランを見つけることをミスリードすることで,グラウンドディングをハイジャックできるVisualTrapを提案する。
  論文  参考訳（メタデータ） (2025-07-09T14:36:00Z)
• SPAct: Self-supervised Privacy Preservation for Action Recognition [73.79886509500409]
  アクション認識におけるプライバシー漏洩を緩和するための既存のアプローチは、ビデオデータセットのアクションラベルとともに、プライバシラベルを必要とする。 自己教師付き学習(SSL)の最近の進歩は、未ラベルデータの未発見の可能性を解き放ちつつある。 本稿では、プライバシーラベルを必要とせず、自己管理的な方法で、入力ビデオからプライバシー情報を除去する新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T02:56:40Z)
• I-ViSE: Interactive Video Surveillance as an Edge Service using Unsupervised Feature Queries [70.69741666849046]
  本稿では、教師なし機能クエリに基づくエッジサービス(I-ViSE)としてインタラクティブビデオ監視を提案する。 I-ViSEのプロトタイプはエッジフォッグコンピューティングのパラダイムに従って構築され、実験により、I-ViSE方式がシーン認識の設計目標を2秒以内で満たすことを確認した。
  論文  参考訳（メタデータ） (2020-03-09T14:26:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。