論文の概要: Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents

• arxiv url: http://arxiv.org/abs/2610.11942v1
• Date: Thu, 08 Oct 2026 13:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.043495
• Title: Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents
• Title（参考訳）: 右画面, 誤り遷移:GUIエージェントの検証対象としての世界モデル
• Abstract要約: 本稿では,次の画面の表示を直接予測するデコーダフリーでアクション条件付き世界モデルLGWMを提案する。 RSWT-BENCHを用いて,各クレデンシャル・スクリーンが正当性およびハイジャック性移行の両面に出現する診断を行った。
• 参考スコア（独自算出の注目度）: 52.83863458908973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A login screen that appears after a tap on Sign in is expected; the same screen after a tap on View order is an attack. For GUI agents, safety is therefore a property of the transition rather than of the screen, and a monitor that inspects only screens can be defeated by reusing a legitimate one. Judging a transition requires an expectation of what should have followed the action. Existing GUI world models provide one, but they output it as text, code, or images, so checking it against the observed screen requires a second model to judge the two. We argue that a world model meant for verification should instead predict in the space in which observations are encoded, and present LGWM, a decoder-free, action-conditioned world model that predicts the representation of the next screen directly, trained without semantic annotation on 1.85M real GUI transitions. Verification reduces to a vector comparison, and the same signal reveals whether a mismatch is harmful. We evaluate on RSWT-BENCH, a diagnostic where each credential screen appears under both a legitimate and a hijacked transition, so detectors that see only the screen are at chance by construction. The training-free score reaches 0.987 AUC at 17 ms per decision, on par with the strongest closed-source VLMs and about ten AUC points above generative GUI world models at over three orders of magnitude lower latency. The residual direction reaches 0.953 AUC at separating harmful from benign violations, where prompted VLMs are near chance. Further analyses show that the prediction is a usable future state rather than an anomaly score. World models have mostly served as simulators or planners; our results point to a third role, verification, for which predicting in representation space is the natural design.
• Abstract（参考訳）: Signinのタップ後に表示されるログイン画面が期待されている。 GUIエージェントの場合、安全は画面ではなくトランジションの特性であり、スクリーンのみを検査するモニターは正当な画面を再利用することで破壊される。 移行を判断するには、アクションに続くべきことを期待する必要がある。 既存のGUIワールドモデルは1つを提供するが、テキスト、コード、画像として出力するので、観察された画面でそれをチェックするには2つ目のモデルが必要である。 検証を目的とした世界モデルは、観測が符号化された空間で予測すべきであり、現在のLGWMは、1.85Mの実際のGUI遷移に関する意味論なしに、次の画面の表現を直接予測するデコーダフリーのアクション条件付き世界モデルである。 検証はベクトル比較に還元され、同じ信号はミスマッチが有害かどうかを明らかにする。 RSWT-BENCHは,各クレデンシャル画面が正当性およびハイジャック状態の遷移の下で出現する診断法である。 トレーニングフリースコアは、最強のクローズドソースVLMと同等で、約10のAUCポイントが生成GUI世界モデルより3桁以上低いレイテンシで、決定あたり17ミリ秒で0.987 AUCに達する。 残留方向が0.953 AUCに達し、良性侵害から有害なものを分離する。 さらに分析したところ、予測は異常スコアではなく、使用可能な将来状態であることが示された。 我々の結果は、表現空間における予測が自然な設計である3番目の役割である検証を示唆している。

関連論文リスト

• hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
  コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
  論文  参考訳（メタデータ） (2026-10-02T09:35:59Z)
• GUIAuditor: Enabling Post-hoc Child Safety Forensics via Action-Guided GUI Provenance on Mobile Devices [23.197820775360146]
  現在のアプローチは、自動防止と検出に依存している。 我々は、補完的で、人道的な、ホック後の法医学的パラダイムを論じる。 本稿では,このビジョンを実現するために設計されたGUIAuditorについて述べる。
  論文  参考訳（メタデータ） (2026-09-23T14:42:50Z)
• When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
  視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。 マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。 我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。 このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
  論文  参考訳（メタデータ） (2026-09-03T03:58:56Z)
• Do GUI Agents Believe Their Eyes? Diagnosing State-Belief Reliance on Pixels versus Structure [5.717981279944186]
  我々は、視覚的状態依存、状態信念の画素、構造または先行への帰属を定式化する。 310の実際のWeb、モバイル、デスクトッププローブ上でのシングルチャネルの介入と組み合わせて測定する。 我々の中心となる計量は知覚融合ギャップ(Perception-Fusion Gap)である。
  論文  参考訳（メタデータ） (2026-07-05T14:33:29Z)
• Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring [1.3636639880574484]
  内部の読み出しは、それらのアクションが生成される前に有害なテキストやツールアクションを特定する場合、エージェントシステムを監視するのに役立つ。 Qwen2.5-Coder-32B-Instruct fine-tune/base direction, Llama-3.1-8B-Instruct probes at the last token of unsafe prefills, Gemma-3-27B-IT emotion-concept vectors for projection and steering。
  論文  参考訳（メタデータ） (2026-06-29T15:18:36Z)
• Benchmarking Living-Screen-Native GUI Agents on Short-Video Platforms [42.64808979930857]
  我々はこのタスクをリビング-スクリーン-Native GUIエージェントとして定式化する。 LivingScreenは、短いビデオプラットフォームでインスタンス化する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-06-03T10:25:46Z)
• PrefixGuard: From LLM-Agent Traces to Online Failure-Warning Monitors [14.336100401626062]
  大規模言語モデル(LLM)エージェントは、最終結果チェックが介入するには遅すぎるような、長時間のツール使用タスクを実行する。 PrefixGuardは、オフラインのStepView誘導ステップと監視監視トレーニングを備えたトレース・ツー・モニタフレームワークである。 WebArena, $2$-Bench, SkillsBench, TerminalBench, 最も強力なPrefixGuardモニタは0.900/0.70.533/0.557 AUPRCである。
  論文  参考訳（メタデータ） (2026-05-07T15:49:48Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
  プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。 我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
  論文  参考訳（メタデータ） (2025-10-10T15:12:44Z)
• Auditing AI models for Verified Deployment under Semantic Specifications [65.12401653917838]
  AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。 AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
  論文  参考訳（メタデータ） (2021-09-25T22:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。