論文の概要: The GUI Is Not the State: Diagnosing State Aliasing in GUI World Models
- arxiv url: http://arxiv.org/abs/2609.32679v1
- Date: Sat, 26 Sep 2026 14:35:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 21:23:26.804095
- Title: The GUI Is Not the State: Diagnosing State Aliasing in GUI World Models
- Title（参考訳）: GUIは状態ではない:GUIワールドモデルにおける状態エイリアス診断
- Abstract要約: 我々は、vis-ibleインタフェースが遷移関連環境状態を省略する状態エイリアスを同定する。
歴史から構造化状態を予測する軽量な予測状態回復法を提案する。
実験の結果,既存のGUI-WMは観測のみの条件入力下での系統的な故障を示すことがわかった。
- 参考スコア（独自算出の注目度）: 40.04397093478889
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GUI World Models (GUI-WMs) are increasingly used to predict future states for agent planning and simulation, yet most existing formulations condition only on the current GUI observation and action. We identify state aliasing, where the vis- ible interface omits transition-relevant environment state, so identical observable conditions can correspond to different valid futures. To diagnose this failure mode, we introduce StateAliasBench, a diagnostic benchmark that explicitly isolates such ambiguities via strict pairing. We further propose lightweight predictive- state recovery that infers structured state from history and augments otherwise frozen GUI-WMs through a deterministic state interface. Family-specific special- ists provide state recovery across heterogeneous state types, and multi-teacher dis- tillation consolidates them into a single unified estimator. Experiments show that existing GUI-WMs exhibit systematic failures under observation-only condition- ing, while predictive-state augmentation substantially restores state-sensitive pre- diction across evaluated WMs, preserves generative fidelity, and improves down- stream performance of GUI agents on AndroidWorld. These results suggest that reliable GUI world modeling should account not only for what is visible, but also for the hidden transition state that determines what happens next.
- Abstract（参考訳）: GUI World Models (GUI-WMs) はエージェント計画とシミュレーションの将来の状態を予測するためにますます使われているが、既存の定式化条件は現在のGUIの観察と動作に限られている。
我々は、vis-ibleインタフェースが遷移関連環境状態を省略する状態エイリアスを識別するので、同一の観測可能な条件は、異なる有効な未来に対応することができる。
この障害モードを診断するために、厳密なペアリングによってこれらの曖昧性を明示的に分離する診断ベンチマークであるStateAliasBenchを紹介します。
さらに, 履歴から構造化状態を推定し, 決定論的状態インタフェースによって凍結したGUI-WMを増大させる軽量な予測状態回復法を提案する。
家族固有の特殊主義者は、異種状態のタイプにまたがって状態回復を提供し、マルチTeacher dis-termationはそれらを単一の統合された推定器に統合する。
実験の結果,既存のGUI-WMは観測のみの条件入力下での系統的な障害を示す一方で,予測状態の増大は評価されたWM間の状態依存型プレディクションを実質的に復元し,生成精度を保ち,AndroidWorld上でのGUIエージェントのダウンストリーム性能を向上させることが示された。
これらの結果は、信頼できるGUIの世界モデリングは、見えるものだけでなく、次に何が起こるかを決定する隠された遷移状態についても考慮すべきであることを示している。
関連論文リスト
- GUITAR: Structured Failure Diagnosis of GUI Agents via State Transitions [46.051182109000315]
状態と遷移の両方で構造化された故障解析を行う状態中心診断フレームワークである textbfGUITAR を提案する。
AndroidControlとMind2Webの8つのエージェントと6つのタスクを通じて、GUITARは、障害の60.4%が20%の州で発生していることを明らかにした。
ボトルネックを標的とした誘導はSRを2.8%改善し、7つのエージェントの平均1.88%の上昇を維持している。
論文 参考訳（メタデータ） (2026-09-28T01:48:48Z) - GUI-CC: Benchmarking Contextual Consistency of GUI World Models as Agent Environments [20.28422479068168]
エージェント環境としてGUIワールドモデルのコンテキスト整合性を評価するベンチマークGUI-CCを紹介する。
我々はGUIOdysseyから500のオフライントラジェクトリタスクを構築し、30のモバイルアプリで200のエミュレータ認証オンラインタスクを構築した。
実験により、信頼性の高い環境シミュレーションは保証されないことが示された。
論文 参考訳（メタデータ） (2026-08-30T05:19:43Z) - EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding [54.222234064832]
EvoGUIは、正規化されたGUI軌跡を3つの補完的な視覚的質問応答プローブに変換するフレームワークである。
私たちはMind2WebとWebLINXからEvoGUI-Benchをインスタンス化し、120ドメインで3,000のインスタンスを生成します。
最強のモデルは60.4 EvoGainにしか達しないが、モデルスケールとGUIの特殊化は性能を確実に予測しない。
論文 参考訳（メタデータ） (2026-07-19T03:29:08Z) - Computer-Using World Model [58.59112582915026]
我々は,次のユーザインタフェース(UI)状態を予測するデスクトップソフトウェアのための世界モデルであるComputer-Using World Model (CUWM)を紹介する。
CUWMはまずエージェント関連状態変化のテキスト記述を予測し、次に次のスクリーンショットを合成するために視覚的にこれらの変化を実現する。
テスト時間動作探索を用いてCUWMを評価し、凍結エージェントが世界モデルを用いて実行前の候補動作をシミュレートし比較する。
論文 参考訳（メタデータ） (2026-02-19T13:48:29Z) - GEBench: Benchmarking Image Generation Models as GUI Environments [49.513441724802135]
GUI生成における動的相互作用と時間的コヒーレンスを評価するためのベンチマークであるGEBenchを紹介する。
GE-Scoreは、ゴール達成、インタラクションロジック、コンテンツ一貫性、UIの可視性、視覚品質を評価する新しい5次元メトリックである。
そこで本研究では,アイコンの解釈,テキストレンダリング,局所化精度を重要なボトルネックとして認識した。
論文 参考訳（メタデータ） (2026-02-09T18:52:02Z) - ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。
本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。
OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-02-06T19:55:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。