論文の概要: GUIDE: Interpretable GUI Agent Evaluation via Hierarchical Diagnosis
- arxiv url: http://arxiv.org/abs/2604.04399v1
- Date: Mon, 06 Apr 2026 03:58:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.082411
- Title: GUIDE: Interpretable GUI Agent Evaluation via Hierarchical Diagnosis
- Title（参考訳）: GUIDE:階層的診断による解釈可能なGUIエージェントの評価
- Authors: Yuwen Zhai, Runze Li, Liang Wang, Nian Shi, Liwu Xu, Wei Zhang, Ran Lin, Bo Xu, Benlei Cui,
- Abstract要約: 軌道評価を3段階に分解するGUIDE(GUI Understanding and Interpretable Assessment Evaluation)を導入する。
サブタスク診断は、各ユニットを文脈で評価し、完了判定を割り当て、修正レコメンデーションで構造化されたエラー解析を生成する。
我々はGUIDEを,932トラジェクトリの産業用Eコマースデータセット,1302トラジェクトリの5つのWebエージェントタスクを対象としたAgentREWARDBENCH,モバイルデバイス制御用のAndroidBenchの3つのベンチマークで検証した。
- 参考スコア（独自算出の注目度）: 17.279226216630065
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Evaluating GUI agents presents a distinct challenge: trajectories are long, visually grounded, and open-ended, yet evaluation must be both accurate and interpretable. Existing approaches typically apply a single holistic judgment over the entire action-observation sequence-a strategy that proves unreliable on long-horizon tasks and yields binary verdicts offering no insight into where or why an agent fails. This opacity limits the utility of evaluation as a diagnostic tool for agent development. We introduce GUIDE (GUI Understanding and Interpretable Diagnostic Evaluation), a framework that decomposes trajectory assessment into three sequential stages mirroring the compositional structure of GUI tasks. Trajectory Segmentation partitions the full trace into semantically coherent subtask units. Subtask Diagnosis evaluates each unit in context, assigning a completion verdict and generating a structured error analysis with corrective recommendations. Overall Summary aggregates per-subtask diagnoses into a task-level judgment. By operating on bounded subtask segments rather than full trajectories, GUIDE mitigates the context overload that degrades existing evaluators as task complexity grows. We validate GUIDE on three benchmarks: an industrial e-commerce dataset of 932 trajectories, AGENTREWARDBENCH spanning five web agent tasks with 1302 trajectories, and AndroidBench for mobile device control. Across all settings, GUIDE substantially outperforms existing evaluators-achieving up to 5.35 percentage points higher accuracy than the strongest baseline-while producing structured diagnostic reports that directly inform agent improvement.
- Abstract（参考訳）: トラジェクトリは長く、視覚的に基礎があり、オープンエンドであるが、評価は正確かつ解釈可能である必要がある。
既存のアプローチでは、アクション・オブザーブレーション・シーケンス全体に対して単一の全体論的判断を適用するのが一般的である。
この不透明さは、エージェント開発のための診断ツールとしての評価の有用性を制限する。
GUIDE(GUI Understanding and Interpretable Assessment Evaluation)は,GUIタスクの構成構造を反映した3段階の段階に軌道評価を分解するフレームワークである。
Trajectory Segmentationは完全なトレースをセマンティックコヒーレントなサブタスク単位に分割する。
サブタスク診断は、各ユニットを文脈で評価し、完了判定を割り当て、修正レコメンデーションで構造化されたエラー解析を生成する。
総まとめは、サブタスクごとの診断をタスクレベルの判断に集約する。
完全なトラジェクトリではなく、境界付きサブタスクセグメントで操作することで、GUIDEはタスクの複雑さが増大するにつれて既存の評価器を低下させるコンテキストオーバーロードを緩和する。
我々はGUIDEを,932トラジェクトリの産業用Eコマースデータセット,1302トラジェクトリの5つのWebエージェントタスクを対象としたAgentREWARDBENCH,モバイルデバイス制御用のAndroidBenchの3つのベンチマークで検証した。
すべての設定において、GUIDEは、エージェント改善を直接通知する構造化診断レポートを生成する最強のベースラインよりも、最大5.35ポイントの精度で、既存の評価指標を著しく上回っている。
関連論文リスト
- Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence? [35.30497528897595]
Agentic-MMEはマルチモーダルエージェント能力のプロセス検証ベンチマークである。
6つのドメインにまたがる418の現実世界タスクと3つの困難レベルを含んでいる。
2,000以上のステップワイズなチェックポイントがあり、1タスクあたり平均10時間以上の手動アノテーションがある。
論文 参考訳（メタデータ） (2026-04-03T13:02:01Z) - TraceSIR: A Multi-Agent Framework for Structured Analysis and Reporting of Agentic Execution Traces [32.4073751390339]
本稿では,エージェント実行トレースの構造化解析と報告を行うフレームワークであるTraceSIRを提案する。
TraceSIRはStructureAgent、InsightAgent、ReportAgentの3つの特殊エージェントをコーディネートする。
実験により、TraceSIRは一貫して一貫性があり、情報的で、行動可能なレポートを生成することが示された。
論文 参考訳（メタデータ） (2026-02-28T12:33:24Z) - ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。
本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。
OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-02-06T19:55:26Z) - LIBERO-X: Robustness Litmus for Vision-Language-Action Models [32.29541801424534]
この研究は、評価とデータの観点からVLAベンチマークを体系的に再考する。
LIBERO-Xは階層的評価プロトコルを特徴とするベンチマークで,3つのコア機能を対象とした進行難度レベルを示す。
代表的なVLAモデルを用いた実験では、累積摂動下での大幅な性能低下が示されている。
論文 参考訳（メタデータ） (2026-02-06T09:59:12Z) - RAGVUE: A Diagnostic View for Explainable and Automated Evaluation of Retrieval-Augmented Generation [1.564663326217051]
RAGVUEはRetrieval-Augmented Generation (RAG)システムを評価するためのフレームワークである。
RAGの振る舞いを検索品質、回答の妥当性と完全性、厳格なクレームレベルの忠実さ、および判断の校正に分解する。
RAGVUEは手動のメートル法選択と完全に自動化されたエージェント評価の両方をサポートしている。
論文 参考訳（メタデータ） (2025-12-03T07:42:49Z) - GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。
リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。
このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
論文 参考訳（メタデータ） (2025-11-06T12:19:02Z) - Alita-G: Self-Evolving Generative Agent for Agent Generation [54.49365835457433]
汎用エージェントをドメインエキスパートに変換するフレームワークであるALITA-Gを提案する。
このフレームワークでは、ジェネラリストエージェントが対象ドメインタスクのキュレートされたスイートを実行する。
計算コストを削減しながら、大きな利益を得ることができます。
論文 参考訳（メタデータ） (2025-10-27T17:59:14Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。
我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。
分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
論文 参考訳（メタデータ） (2025-05-29T17:59:38Z) - XBOUND: Exploring Capability Boundaries of Device-Control Agents at the State Level [43.73689966281675]
Device-Control Agents(DCエージェント)はグラフィカルユーザインタフェース(GUI)を管理する
状態ごとの命令完了の精度を評価するための新しい評価手法 XBOUND を提案する。
UI-TARSは最強の7Bモデルであり、現在のエージェントは命令統一においてバイモーダルなパフォーマンスパターンを示し、サブ7Bモデルは状態熟達において制限されている。
論文 参考訳（メタデータ） (2025-05-27T14:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。