論文の概要: GUIGuard: Toward a General Framework for Privacy-Preserving GUI Agents

• arxiv url: http://arxiv.org/abs/2601.18842v1
• Date: Mon, 26 Jan 2026 11:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.006082
• Title: GUIGuard: Toward a General Framework for Privacy-Preserving GUI Agents
• Title（参考訳）: GUIGuard: プライバシを保存するGUIエージェントの汎用フレームワークを目指して
• Authors: Yanxi Wang, Zhiling Zhang, Wenbo Zhou, Weiming Zhang, Jie Zhang, Qiannan Zhu, Yu Shi, Shuxin Zheng, Jiyan He,
• Abstract要約: GUIはよりリッチでアクセスしやすいプライベート情報を公開し、プライバシーリスクはシーケンシャルなシーンにわたるインタラクションの軌跡に依存する。 本稿では,プライバシ認識,プライバシ保護,保護下のタスク実行という,プライバシ保護GUIエージェントのための3段階フレームワークを提案する。 この結果は,GUIエージェントにとって重要なボトルネックとして,プライバシ認識に注目した。
• 参考スコア（独自算出の注目度）: 38.42792282309646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GUI agents enable end-to-end automation through direct perception of and interaction with on-screen interfaces. However, these agents frequently access interfaces containing sensitive personal information, and screenshots are often transmitted to remote models, creating substantial privacy risks. These risks are particularly severe in GUI workflows: GUIs expose richer, more accessible private information, and privacy risks depend on interaction trajectories across sequential scenes. We propose GUIGuard, a three-stage framework for privacy-preserving GUI agents: (1) privacy recognition, (2) privacy protection, and (3) task execution under protection. We further construct GUIGuard-Bench, a cross-platform benchmark with 630 trajectories and 13,830 screenshots, annotated with region-level privacy grounding and fine-grained labels of risk level, privacy category, and task necessity. Evaluations reveal that existing agents exhibit limited privacy recognition, with state-of-the-art models achieving only 13.3% accuracy on Android and 1.4% on PC. Under privacy protection, task-planning semantics can still be maintained, with closed-source models showing stronger semantic consistency than open-source ones. Case studies on MobileWorld show that carefully designed protection strategies achieve higher task accuracy while preserving privacy. Our results highlight privacy recognition as a critical bottleneck for practical GUI agents. Project: https://futuresis.github.io/GUIGuard-page/
• Abstract（参考訳）: GUIエージェントは、スクリーン上のインターフェースを直接認識し、相互作用することで、エンドツーエンドの自動化を可能にする。 しかし、これらのエージェントは機密性の高い個人情報を含むインターフェースに頻繁にアクセスし、スクリーンショットはしばしばリモートモデルに送信され、かなりのプライバシーリスクが生じる。 GUIはよりリッチでアクセスしやすいプライベート情報を公開し、プライバシーリスクはシーケンシャルなシーンにわたるインタラクションの軌跡に依存する。 本稿では,(1)プライバシ認識,(2)プライバシ保護,(3)保護下のタスク実行という,プライバシ保護のための3段階のGUIエージェントであるGUIGuardを提案する。 GUIGuard-Benchは630のトラジェクトリと13,830のスクリーンショットを備えたクロスプラットフォームのベンチマークで、リージョンレベルのプライバシ基盤と、リスクレベル、プライバシカテゴリ、タスクニーズの詳細なラベルがアノテートされている。 評価によると、既存のエージェントはプライバシーの認識が限られており、最先端のモデルはAndroidでは13.3%、PCでは1.4%しか正確ではない。 プライバシ保護の下では、タスク計画セマンティクスは引き続き維持でき、クローズドソースモデルはオープンソースモデルよりも強力なセマンティクス一貫性を示している。 MobileWorldのケーススタディでは、慎重に設計された保護戦略がプライバシーを維持しながら高いタスク精度を達成することが示されている。 この結果は,GUIエージェントにとって重要なボトルネックとして,プライバシ認識に注目した。 プロジェクト:https://futuresis.github.io/GUIGuard-page/

関連論文リスト

• Beyond Blanket Masking: Examining Granularity for Privacy Protection in Images Captured by Blind and Low Vision Users [23.61740342584077]
  リスクの高い個人情報のみを選択的にマスクする、きめ細かいプライバシー保護フレームワークであるFiGPrivを提案する。 提案手法は細粒度セグメンテーションとデータ駆動型リスクスコアリング機構を統合する。 我々は,BIV-Priv-Segデータセットを用いてフレームワークの評価を行い,FiG-Privが+26%の画像コンテンツを保存していることを示す。
  論文  参考訳（メタデータ） (2025-08-12T17:56:36Z)
• VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation [73.92237451442752]
  この研究は、GUI要素に対するGUIエージェントをマッピングするテキストプランの視覚的基盤が脆弱性をもたらすことを明らかにしている。 視覚的接地を目的としたバックドア攻撃では、適切なタスク解決計画が与えられた場合でもエージェントの行動が損なわれる可能性がある。 そこで我々は,エージェントが意図したターゲットではなく,意図した位置をトリガーするテキストプランを見つけることをミスリードすることで,グラウンドディングをハイジャックできるVisualTrapを提案する。
  論文  参考訳（メタデータ） (2025-07-09T14:36:00Z)
• The Obvious Invisible Threat: LLM-Powered GUI Agents' Vulnerability to Fine-Print Injections [21.322212760700957]
  LLM(Large Language Model)ベースのGUIエージェントは、高レベルな命令に従ってユーザの代用タスクを実行する専門的な自律システムである。 フォームや予約サービスなどの現実世界のタスクを完了させるには、GUIエージェントは機密性の高いユーザーデータを処理する必要がある。 これらの攻撃は、エージェントと人間のユーザに対する視覚的満足度の違いを悪用することが多い。
  論文  参考訳（メタデータ） (2025-04-15T15:21:09Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• {A New Hope}: Contextual Privacy Policies for Mobile Applications and An Approach Toward Automated Generation [19.578130824867596]
  コンテキストプライバシポリシ(CPP)の目的は、プライバシポリシを簡潔なスニペットに断片化し、アプリケーションのグラフィカルユーザインターフェース(GUI)内の対応するコンテキスト内でのみ表示することである。 本稿では,モバイルアプリケーションシナリオでCPPを初めて定式化し,モバイルアプリケーション用のCPPを自動生成するSeePrivacyという新しいマルチモーダルフレームワークを提案する。 人間の評価では、抽出されたプライバシーポリシーセグメントの77%が、検出されたコンテキストと適切に一致していると認識されている。
  論文  参考訳（メタデータ） (2024-02-22T13:32:33Z)
• Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
  シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。 我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。 PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
  論文  参考訳（メタデータ） (2023-10-03T17:30:33Z)
• SPAct: Self-supervised Privacy Preservation for Action Recognition [73.79886509500409]
  アクション認識におけるプライバシー漏洩を緩和するための既存のアプローチは、ビデオデータセットのアクションラベルとともに、プライバシラベルを必要とする。 自己教師付き学習(SSL)の最近の進歩は、未ラベルデータの未発見の可能性を解き放ちつつある。 本稿では、プライバシーラベルを必要とせず、自己管理的な方法で、入力ビデオからプライバシー情報を除去する新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T02:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。