論文の概要: GUITAR: Structured Failure Diagnosis of GUI Agents via State Transitions
- arxiv url: http://arxiv.org/abs/2609.34113v2
- Date: Tue, 29 Sep 2026 09:05:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.712341
- Title: GUITAR: Structured Failure Diagnosis of GUI Agents via State Transitions
- Title（参考訳）: GUITAR:状態遷移によるGUIエージェントの構造的故障診断
- Abstract要約: 状態と遷移の両方で構造化された故障解析を行う状態中心診断フレームワークである textbfGUITAR を提案する。
AndroidControlとMind2Webの8つのエージェントと6つのタスクを通じて、GUITARは、障害の60.4%が20%の州で発生していることを明らかにした。
ボトルネックを標的とした誘導はSRを2.8%改善し、7つのエージェントの平均1.88%の上昇を維持している。
- 参考スコア（独自算出の注目度）: 46.051182109000315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding where and why Graphical User Interface (GUI) agents fail is essential for building more reliable systems, yet current evaluation relies on step accuracy, a metric that treats each screen independently and overlooks the underlying structure of GUI environments. This leads to two critical blind spots: (1) functionally equivalent screens are evaluated in isolation, obscuring systematic failure patterns across shared screens; and (2) the long-tailed GUI distribution renders failures on rare but critical screens invisible under standard metrics. To address these issues, we propose \textbf{GUITAR}, a state-centric diagnostic framework that performs structured failure analysis over both states and transitions, using a State Transition Graph (STG) by mapping visually diverse screens to shared functional states. Across 8 agents and 6 tasks from AndroidControl and Mind2Web, GUITAR reveals that 60.4\% of failures occur in 20\% of states, localizing errors to a small set of bottlenecks. Bottleneck-targeted guidance improves SR by 2.8\% and retains a 1.88\% average gain across 7 agents under three-fold trajectory-held-out evaluation with fully automatic STGs. These findings demonstrate the diagnostic and actionable value of structure-aware evaluation within the evaluated mobile and web tasks. Code is available at https://github.com/sqzhang-lazy/GUITAR
- Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントがどこで、なぜフェールするのかを理解することは、より信頼性の高いシステムを構築する上で不可欠であるが、現在の評価は、各スクリーンを独立して扱い、GUI環境の基盤構造を見落としているメトリクスであるステップ精度に依存している。
1) 機能的に等価な画面を独立して評価し、共有画面にまたがる系統的な障害パターンを隠蔽する。
これらの問題に対処するため,状態遷移グラフ (STG) を用いて状態と遷移の構造化故障解析を行う状態中心診断フレームワークである \textbf{GUITAR} を提案する。
AndroidControlとMind2Webの8つのエージェントと6つのタスクを通じて、GUITARは、障害の60.4\%が20%の州で発生し、エラーを小さなボトルネックにローカライズしていることを明らかにした。
ボトルネック目標誘導はSRを2.8 %改善し、完全自動STGによる3倍の軌道維持評価の下で、7つのエージェントの平均ゲインを1.88 %保持する。
これらの結果から, モバイルタスクとWebタスクにおける構造認識評価の診断的, 実行可能な価値が示された。
コードはhttps://github.com/sqzhang-lazy/GUITARで入手できる。
関連論文リスト
- DashAct: A Progressive Diagnostic Benchmark for GUI Agents in Interactive Dashboard Analysis [37.722409440590276]
私たちが知る限りでは、DashActは、障害を同じダッシュボードタスク内のきめ細かいレベルで診断する最初のベンチマークです。
DashActには,マイルストン依存性と階層的ターゲットアノテーションを備えた,357の人間検証されたインタラクショントラジェクトリが含まれている。
その進歩的な診断カスケードは、エンドツーエンドの実行を評価し、検証済みコンテキストを次のアクション予測に復元し、ターゲットセマンティクスと視覚的接地のためのローカルビューを提供する。
論文 参考訳（メタデータ） (2026-09-26T08:58:50Z) - A History-Aware Visually Grounded Critic for Computer Use Agents [70.50900668601969]
HiViGは、実際のGUIトラジェクトリで訓練されたマルチモーダル批評家を中心に構築されたテストタイムフレームワークである。
テスト時には、HiViGは批判者をポリシー決定ループに統合し、マクロアクション履歴を提供する。
Visually Grounded critiqueは、現在のスクリーンショットに対する生の実行座標を検証して、実行前にエラーをインターセプトする。
論文 参考訳（メタデータ） (2026-06-09T16:39:10Z) - StainFlow: Entity-Stain Tracking and Evidence Linking for Process Rewards in GUI Agents [67.03593791535786]
強化学習(Reinforcement Learning, RL)は、長期のデジタル環境においてGUIエージェントを改善するための有望なアプローチである。
この問題を軽減するため、最近の研究はプロセス・リワード・モデル(PRM)を導入している。
PRMは、グローバルマイルストーン検証やローカルステップレベルの評価を通じて、よりきめ細かいトレーニングフィードバックを提供する。
本稿では,GUIエージェントのためのエンティティ・スタンフロープロセス報酬モデルであるStainFlowを提案する。
論文 参考訳（メタデータ） (2026-06-05T08:17:28Z) - DiagEval: Trajectory-Conditioned Diagnosis for Reliable Software Evaluation with GUI Agents [16.577116170272934]
本稿では,対話型ソフトウェアのGUIエージェント評価のための軌道条件付き診断評価プロトコルであるDiagEvalを提案する。
DiagEvalは失敗した軌道を再利用して、対象の診断プローブを選択し、その結果を内部の属性信号に集約する。
WebDevJudge-UnitとRealDevBenchのDiagEvalを複数のGUIエージェント評価器とLCMバックボーンで評価する。
論文 参考訳（メタデータ） (2026-05-17T13:22:22Z) - PAGER: Bridging the Semantic-Execution Gap in Point-Precise Geometric GUI Control [43.10024632595698]
大規模な視覚言語モデルにはGUIエージェントが大幅に進歩し、Web、モバイル、デスクトップインターフェース間で実行可能な対話を可能にする。
しかし、これらの利得は、近隣の多くのピクセルが同じコンポーネント内で有効であるような、地域寛容なパラダイムに大きく依存している。
我々は,この状態を精度の高いGUIタスクとして認識し,点レベルの精度,幾何学的検証,依存性駆動型エラー伝播に対する堅牢性を必要とする。
構成を依存型計画とピクセルレベルの実行に分解するトポロジ対応エージェントであるPAGERを提案する。
論文 参考訳（メタデータ） (2026-05-15T13:55:05Z) - GUI-Perturbed: Domain Randomization Reveals Systematic Brittleness in GUI Grounding Models [1.5114908780891403]
GUIグラウンディングモデルは標準ベンチマークで85%以上の精度を報告しているが、命令が直接の要素命名ではなく空間的推論を必要とする場合、27-56ポイントを減少させる。
制御された摂動フレームワークであるGUI-Perturbedを導入する。
論文 参考訳（メタデータ） (2026-04-15T16:39:22Z) - GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。
リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。
このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
論文 参考訳（メタデータ） (2025-11-06T12:19:02Z) - FineState-Bench: A Comprehensive Benchmark for Fine-Grained State Control in GUI Agents [12.315613848863784]
ファインステートベンチ(FinState-Bench)は,GUIプロキシ操作のための評価および診断標準である。
FineState-Benchには4つのコンポーネントに2257のタスクベンチマークが含まれており、知覚制御評価に4フェーズインジケータを使用している。
我々の診断フレームワークは、現在のGUIプロキシの最大のボトルネックが基本的な視覚的位置決め能力であることを初めて確認します。
論文 参考訳（メタデータ） (2025-08-12T15:12:42Z) - UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。