論文の概要: DIBench: Benchmarking Decision Integrity of GUI-based Mobile Agents Under Deceptive Injections
- arxiv url: http://arxiv.org/abs/2610.06898v1
- Date: Tue, 29 Sep 2026 03:03:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.49082
- Title: DIBench: Benchmarking Decision Integrity of GUI-based Mobile Agents Under Deceptive Injections
- Title（参考訳）: DIBench: 認知注入下でのGUIベースのモバイルエージェントのベンチマーク決定統合
- Abstract要約: DIBenchは、モバイルエージェントにおけるタスク内目標偏差のリスクを測定するための決定整合性ベンチマークである。
我々は,過度な異常を伴わずに重要な選択を操る8つの偽注入プローブのインスタンス化を構築した。
全体として、DIBenchは、モバイルエージェントにおけるタスク内目標偏差のリスクを定量化するための、統一された再現可能なベンチマークを提供する。
- 参考スコア（独自算出の注目度）: 14.918204262782522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As GUI-based mobile agents rapidly progress, rigorous safety evaluation of their autonomous decision-making in realistic app interfaces becomes increasingly critical. Existing benchmarks mainly focus on execution-level anomalies using task success or hijack rates, but fail to capture the in-task goal deviation risk in multi-candidate selection tasks, where the decision may be steered toward an attacker-specified target, even in violation of instruction-implied constraints (e.g., cheapest/highest-rated), without any overt execution anomalies. We present DIBench, a decision integrity benchmark for measuring this risk in mobile agents. DIBench covers 7 commercial and 3 simulated apps with 5 task types. Under a threat model restricted to non-privileged UI content, we construct 8 deceptive injection probe instantiations that can steer critical selections without overt anomalies. The benchmark includes 1,000 clean and 36,672 injected instances, with a unified protocol and integrity metrics for comparison. Experiments spanning 4 agent frameworks and 7 base models show that completion-based evaluation can overestimate agent trustworthiness and miss decision-integrity risks: deceptive injections steer selections and shift early action policies, inflating completion rates and creating a misleading illusion of safety. Common defenses, including detection, image preprocessing, and prompt reminders, yield inconsistent integrity gains. Overall, DIBench provides a unified, reproducible benchmark to quantify the risk of in-task goal deviation in mobile agents and enable comparable evaluations of safety defenses.
- Abstract（参考訳）: GUIベースのモバイルエージェントが急速に進歩するにつれて、現実的なアプリインターフェースにおける自律的な意思決定に対する厳格な安全性評価がますます重要になっている。
既存のベンチマークでは、タスクの成功やハイジャックレートを使った実行レベルの異常に重点を置いているが、マルチ候補選択タスクにおけるタスク内目標偏差のリスクを捉えていない。
モバイルエージェントにおけるこのリスクを測定するための決定整合性ベンチマークであるDIBenchを提案する。
DIBenchは5つのタスクタイプを持つ7つの商用および3つのシミュレートされたアプリをカバーしている。
非特権のUIコンテンツに制限された脅威モデルの下では、過度な異常を伴わずに重要な選択を操る8つの知覚的注入プローブインスタンス化を構築した。
ベンチマークには、1,000のクリーンインスタンスと36,672のインジェクションインスタンスが含まれ、統一されたプロトコルと比較のための整合性メトリクスが含まれている。
4つのエージェントフレームワークと7つのベースモデルにまたがる実験は、完了ベースの評価がエージェントの信頼性を過大評価し、決定統合性リスクを見逃す可能性があることを示している。
検出、画像前処理、即時リマインダーを含む共通の防御は、一貫性の欠如をもたらす。
全体として、DIBenchは、モバイルエージェントにおけるタスク内目標偏差のリスクを定量化し、安全防御の同等の評価を可能にする、統一された再現可能なベンチマークを提供する。
関連論文リスト
- AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。
エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。
AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
論文 参考訳（メタデータ） (2026-09-27T15:19:52Z) - MobileWorldSafety: Benchmarking GUI Agent Safety Against Environmental Injection Attacks in Android Apps [26.50307679295416]
実際のAndroidアプリケーション上に構築されたリスクタスクのベンチマークであるMobileWorldSafetyを紹介します。
各タスクに対して、最終システム状態に対する検証可能なリスク指標を定義する。
これは、安全性障害と能力障害を区別し、客観的かつ再現可能な評価を可能にする。
論文 参考訳（メタデータ） (2026-08-18T11:33:22Z) - SPADE-Bench: Evaluating Spontaneous Strategic Deception in Agents via Plan-Action Divergence [30.99083906950254]
本研究では,自発的なプラン・アクションのばらつきを評価するためのベンチマークSPADE-Benchを紹介する。
以前の偽装ベンチマークとは異なり、SPADE-Benchは実際のツールの実行と制御されたプレッシャーシナリオを同時に統合する。
実験により、エージェントの偽装は、ツール使用のコンテキストにおいて真に迫った問題であることを確認した。
論文 参考訳（メタデータ） (2026-06-01T15:28:34Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。