論文の概要: How GUI Agents Fail: GraceBench for Execution Stability Diagnosis
- arxiv url: http://arxiv.org/abs/2610.19900v1
- Date: Wed, 14 Oct 2026 09:58:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.07963
- Title: How GUI Agents Fail: GraceBench for Execution Stability Diagnosis
- Title（参考訳）: GUIエージェントの障害: 実行安定性診断のためのGraceBench
- Abstract要約: モバイルアプリケーションの到達可能なインタラクション空間をUIトランジショングラフ(UTG)として表現するオンライン評価フレームワークであるGraceBenchを紹介した。
GraceBenchは、このグラフ整列表現に対するビデオグラウンドの軌跡評価を使用して、逸脱率、ループ負担率、リカバリ能力などのメトリクスで最終成功以上のプロセス安定性を評価する。
- 参考スコア（独自算出の注目度）: 27.58814606084242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As GUI agents are increasingly deployed for mobile task automation, their reliability depends not only on final task outcomes, but also on whether they reach these outcomes through stable interaction trajectories. In automation workflows, unnecessary actions, detours, and execution errors can add noise to collected data, introduce irreversible side effects, or undermine trust, even when the agent eventually completes the task. It is therefore important to systematically diagnose the execution stability, including whether an agent deviates from a feasible path, enters a loop, becomes stagnant, or recovers from unstable actions. Existing benchmarks, however, primarily assess final task success or a small set of intermediate milestones, leaving step-level execution behavior unclear. To bridge this gap, we introduce GraceBench, an online evaluation framework that represents the reachable interaction space of mobile applications as UI Transition Graphs (UTGs), providing a structural reference for step-level execution diagnosis. To support reliable alignment between dynamic UI observations and graph states, GraceBench uses video-grounded trajectory evaluation over this graph-aligned representation, assessing process stability beyond final success with metrics such as deviation rate, loop burden rate, and recovery ability. GraceBench contains 169 tasks spanning 10 applications and constructs 10 UTGs with 2,909 canonical GUI states and 3,116 observed transitions. Across 3,718 trajectories, GraceBench shows that outcome scores hide execution instability: GPT-5.6 Sol achieves the highest success rate (SR) but the lowest recovery ability, 51.24% of successful runs still contain a deviation or loop, and trajectories with the same success rate (SR) and completion rate (CR) can differ substantially in recovery behavior. Code and data will be released on https://iaie-physicalai.github.io/GraceBench.
- Abstract（参考訳）: GUIエージェントは、モバイルタスク自動化のためにますますデプロイされるので、その信頼性は最終タスクの結果だけでなく、安定したインタラクショントラジェクトリを通じてこれらの結果に到達するかどうかにも依存する。
自動化ワークフローでは、不要なアクション、デトゥール、実行エラーが収集されたデータにノイズを追加したり、不可逆的な副作用を導入したり、エージェントが最終的にタスクを完了しても信頼を損なう可能性がある。
したがって、エージェントが実行可能経路から逸脱したり、ループに入ったり、停滞したり、不安定な動作から回復したりするなど、実行安定性を体系的に診断することが重要である。
しかし、既存のベンチマークは、主に最終タスクの成功または少数の中間マイルストーンを評価し、ステップレベルの実行動作がはっきりしないままである。
このギャップを埋めるために、我々は、モバイルアプリケーションの到達可能なインタラクション空間をUIトランジショングラフ(UTG)として表現するオンライン評価フレームワークであるGraceBenchを紹介し、ステップレベルの実行診断のための構造的参照を提供する。
GraceBenchは、動的UI観測とグラフ状態の信頼性の高いアライメントをサポートするために、このグラフ整列表現に対するビデオ地上軌道評価を使用し、偏差率、ループ負担率、リカバリ能力といった指標を用いて最終成功以上のプロセス安定性を評価する。
GraceBenchは10のアプリケーションにまたがる169のタスクを含み、2,909の標準GUI状態と3,116の観測トランジションを持つ10のUTGを構成する。
GPT-5.6 Solは最高成功率(SR)を達成するが、最も低い回復能力、成功率の51.24%はまだ逸脱やループを含み、同じ成功率(SR)と完了率(CR)のトラジェクトリは回復行動において大きく異なる。
コードとデータはhttps://iaie-physicalai.github.io/GraceBench.orgで公開される。
関連論文リスト
- Graph-Reweighted Behavior Cloning with Human Interventions for Precise Robotic Manipulation [51.011712435458925]
ロングホライゾンの精密な操作は、学習後の視覚-言語-アクションモデルのための混合品質データを生成する。
主要な課題は、不完全な軌道を均一にクローンしたり破棄したりするのではなく、どのアクションチャンクが実際にタスクを前進させるかを特定することである。
本稿では,タスク条件付き目標到達性グラフを構築するオフライン反復学習フレームワークGR-BCを提案する。
論文 参考訳（メタデータ） (2026-10-14T17:09:36Z) - BRIDGE: Selective Boundary Repair with Dependency Graph Evidence in Multi-Agent Systems [59.26551527044981]
methodは、ハンドオフ修復を明示的な依存性の摂動に対する選択的介入として扱うランタイム制御フレームワークである。
SILO-BENCHでは12.3パーセンテージ、TeamBenchでは11.1ポイントまでタスクの成功を加速させる。
論文 参考訳（メタデータ） (2026-10-13T06:31:57Z) - CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。
本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
論文 参考訳（メタデータ） (2026-09-21T05:14:34Z) - Desktop-Delta Bench: Do Computer-Use Models Understand Desktop GUI Transitions? [3.9561795512466413]
現在のベンチマークは、主にエンドタスクの成功または単一フレームグラウンドを測定する。
推論、リモート入力、アプリのレンダリング、スクリーンショットキャプチャが非同期であるため、これは難しい。
オフラインのステップレベルベンチマークであるDesktop-Delta Bench (DDB)を紹介した。
論文 参考訳（メタデータ） (2026-07-28T17:49:51Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows [16.693609667845948]
SKILL.nbは,エビデンス・リバース・キャリブレーションによるライフサイクルポリシーによる再利用可能なエージェント管理のためのフレームワークである。
SKILL.nbは選択的な形式化を使用する: 実行はどのワークフローステップを実行可能なコードにするかを決定する。
ゲート条件付き実行では、各ステップがゲートの検証時にコードを実行したり、ドリフトが実行可能実現を無効にした場合にローカルにフォールバックすることが可能になる。
論文 参考訳（メタデータ） (2026-06-06T08:27:18Z) - DiagEval: Trajectory-Conditioned Diagnosis for Reliable Software Evaluation with GUI Agents [16.577116170272934]
本稿では,対話型ソフトウェアのGUIエージェント評価のための軌道条件付き診断評価プロトコルであるDiagEvalを提案する。
DiagEvalは失敗した軌道を再利用して、対象の診断プローブを選択し、その結果を内部の属性信号に集約する。
WebDevJudge-UnitとRealDevBenchのDiagEvalを複数のGUIエージェント評価器とLCMバックボーンで評価する。
論文 参考訳（メタデータ） (2026-05-17T13:22:22Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。