論文の概要: When Agents See Differently: Exposing UI Desynchronization Threats in Mobile Agents
- arxiv url: http://arxiv.org/abs/2609.16732v1
- Date: Tue, 15 Sep 2026 07:02:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.380737
- Title: When Agents See Differently: Exposing UI Desynchronization Threats in Mobile Agents
- Title（参考訳）: エージェントが違うとき: モバイルエージェントでUIのデシンクロ化の脅威を露呈する
- Abstract要約: 我々は,ユーザとエージェントが同一インタフェースから一貫した情報を観測していることを示す。
同じUI状態は、ユーザとエージェントに実質的に異なる情報を提示することができる。
我々は,ユーザ実行時命令非依存のUIデ同期攻撃を構築し,デプロイ可能なAPKで実現する自動フレームワークを開発する。
- 参考スコア（独自算出の注目度）: 31.736012043129495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile agents are increasingly capable of autonomously interacting with mobile applications and performing consequential actions on behalf of users. Effective human oversight of such agents relies on a basic premise: users and agents observe consistent information from the same interface. We show that this premise can be systematically violated. Users perceive mobile interfaces through physical displays and the human visual system, making their observations subject to occlusion and luminance contrast limitations. In contrast, agents consume digital screenshots that may retain such content and accessibility representations that expose nonvisual widget metadata. The same UI state can therefore present materially different information to users and agents, a mismatch we term human-agent UI desynchronization. We investigate whether a repackaged clone of a legitimate APK can exploit this desynchronization to steer an agent toward attacker-designated actions, while remaining fully functional and behaviorally consistent with the original application for human users. We demonstrate that this threat is feasible: perturbations embedded before deployment can induce such deviations without access to runtime user instructions, agent detection or online adaptation. To systematically expose and evaluate this threat, we develop an automated framework that constructs user runtime instruction-agnostic UI desynchronization attacks and realizes them in deployable APKs. We conduct static and dynamic evaluations across five mobile-agent frameworks and three backbone models on 546 tasks involving various applications, achieving average misleading rates of 77.9% and 66.9%, respectively. A complementary questionnaire-based study with 186 participants finds that the visual perturbations used in our attacks are difficult for human users to notice.
- Abstract（参考訳）: モバイルエージェントは、モバイルアプリケーションと自律的に対話し、ユーザに代わって連続的なアクションを実行する能力がますます高まっている。
このようなエージェントの効果的な人的監視は、ユーザとエージェントは同じインターフェースから一貫した情報を観察する、という基本的な前提に依存している。
この前提は体系的に違反する可能性がある。
ユーザは物理的なディスプレイと人間の視覚システムを通じてモバイルインターフェースを知覚し、その観察を排他的および輝度コントラストの制限を受ける。
対照的に、エージェントは、このようなコンテンツとアクセシビリティ表現を保持するデジタルスクリーンショットを消費し、非視覚的なウィジェットメタデータを公開する。
したがって、同じUI状態がユーザとエージェントに実質的に異なる情報を提示することができる。
我々は,正統なAPKの再パッケージ化クローンがこの非同期化を利用して,攻撃者が指定した動作に対してエージェントを操りながら,元のアプリケーションと完全に機能的かつ行動的整合性を保つことができるかどうか検討する。
デプロイ前に埋め込まれた摂動は、実行時のユーザ命令やエージェント検出、オンライン適応へのアクセスなしに、そのような逸脱を誘発することができる。
この脅威を体系的に公開し評価するために,ユーザ実行時命令非依存のUIデ同期攻撃を構築し,デプロイ可能なAPKで実現する自動フレームワークを開発した。
5つのモバイルエージェントフレームワークと3つのバックボーンモデルに対して静的および動的評価を行い、それぞれ77.9%と66.9%の平均ミスリード率を達成した。
186名の被験者を対象にした補完的な質問紙調査では,攻撃で使用される視覚的摂動が,人間の注意を惹きつけるのが困難であることが判明した。
関連論文リスト
- ComBodied Agents: a New Paradigm of Human-Centric Agentic AI [121.60938707072069]
我々は、人間中心のパラダイムであるCombodied Agentsを紹介し、時間とともに個々の人間状態の軌跡を知覚し、モデル化し、予測し、支援する。
パーソナルアシスタント、ヘルスエージェント、AIコンパニオン、適応型ヒューマンAIシステムをクローズドループに統合する。
論文 参考訳（メタデータ） (2026-08-11T13:35:58Z) - (A)I Sees What You Don't: Exploiting New Attack Surfaces in Third-Party Mobile Agents [6.848663048236236]
VLM(Vision-Language Models)を利用したサードパーティのモバイルエージェントが,スマートフォンインタラクションを自動化する上で有望なパラダイムとして登場した。
本稿では,環境とのインタラクションにおいて,サードパーティのモバイルエージェントアプリと一般アプリの主な違いを要約し,エージェントのセキュリティ姿勢を分析し,2つのユニークな攻撃面を特定する。
我々は,サブリミナルテキストインジェクションや見えないピクセルゾーンエクスプロイト,スクリーンショット改ざん,ホストPCコマンドインジェクションなど,7つの具体的な攻撃を設計,実装する。
論文 参考訳（メタデータ） (2026-07-01T02:17:19Z) - Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳（メタデータ） (2026-06-11T14:12:43Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - Modeling Distinct Human Interaction in Web Agents [59.600507469754575]
我々は、協調的なWebタスク実行を支援するために、人間の介入をモデル化するタスクを紹介する。
エージェントとのユーザインタラクションの4つのパターンを特定します。
我々は、これらの介入認識モデルをライブWebナビゲーションエージェントにデプロイし、ユーザスタディで評価し、ユーザ評価エージェントの有用性が26.5%向上した。
論文 参考訳（メタデータ） (2026-02-19T18:11:28Z) - GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments? [30.170538068791263]
VLM(Vision-Language Models)は,モバイルグラフィカルユーザインターフェース(GUI)をナビゲートする自律エージェントとして,ますます普及している。
環境注入は、GUIに直接敵のUI要素を挿入することで、エージェントの視覚的知覚を損なう。
GhostEI-Benchは、動的に実行可能な環境で環境注入攻撃を受けるモバイルエージェントを評価するための最初のベンチマークである。
論文 参考訳（メタデータ） (2025-10-23T08:33:24Z) - Hijacking JARVIS: Benchmarking Mobile GUI Agents against Unprivileged Third Parties [19.430061128447022]
本稿では,モバイルGUIエージェントの脆弱性に関する最初の系統的研究について述べる。
本稿では,スケーラブルな攻撃シミュレーションフレームワークであるAgentHazardを紹介した。
動的タスク実行環境と攻撃シナリオの静的データセットの両方からなるベンチマークスイートを開発する。
以上の結果から, 調査対象となったエージェントは, 誤解を招く第三者コンテンツに大きく影響していることが判明した。
論文 参考訳（メタデータ） (2025-07-06T03:31:36Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳（メタデータ） (2025-06-16T08:09:32Z) - The Obvious Invisible Threat: LLM-Powered GUI Agents' Vulnerability to Fine-Print Injections [21.322212760700957]
LLM(Large Language Model)ベースのGUIエージェントは、高レベルな命令に従ってユーザの代用タスクを実行する専門的な自律システムである。
フォームや予約サービスなどの現実世界のタスクを完了させるには、GUIエージェントは機密性の高いユーザーデータを処理する必要がある。
これらの攻撃は、エージェントと人間のユーザに対する視覚的満足度の違いを悪用することが多い。
論文 参考訳（メタデータ） (2025-04-15T15:21:09Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z) - MobileAgent: enhancing mobile control via human-machine interaction and
SOP integration [0.0]
大規模言語モデル(LLM)は、ユーザのためのモバイルデバイス操作を自動化できるようになった。
パーソナライズされたユーザデータに関するプライバシー上の懸念は、モバイル操作中に発生し、ユーザ確認が必要になる。
エージェントと人間間の対話的なタスクを設計し、機密情報を識別し、パーソナライズされたユーザニーズに合わせる。
提案手法は,複数ステップのタスクにまたがる30Kのユニークな命令を含む新しいデバイス制御ベンチマークであるAitWで評価される。
論文 参考訳（メタデータ） (2024-01-04T03:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。