EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding
Abstractの概要
EvoGUIは、正規化されたGUI軌跡を時間的順序付け、逆アクション/値予測、および1ステップ後継状態差別の3つの視覚的質問応答（VQA）プローブに変換する、GUI状態遷移理解のための診断フレームワークです。ベンチマークのインスタンスであるEvoGUI-Benchは、Mind2WebとWebLINXから構築されており、120のドメインにわたる3,000の例を含み、ラベルは正規化後の軌跡の順序と記録されたアクションから機械的に導出されます。この設計は、遷移レベルの推論を計画、グラウンディング、回復などのより広範な要因から分離することで、エンドツーエンドのGUIエージェント評価を補完することを目的としています。本論文では、ゼロショット設定で28の視覚言語モデルの構成を評価し、3つのプローブすべてにおいてかなりの性能向上余地が残されていることを報告しています。
新規性
本論文の主な新規性は、正規化後に追加のタスクラベルアノテーションを必要とせず、既存のGUIログを補完的な遷移レベルのVQA診断に変換する、スケーラブルな軌跡由来のフレームワークを構築した点にあります。また、エンドツーエンドのエージェントの成功にのみ依存するのではなく、時間的順序付け、逆遷移の説明、および即時後継状態の識別を明示的に分離する進化を意識したベンチマークを導入しています。
成果
EvoGUI-Benchにおいて最高評価のモデルは60.4 EvoGainに達し、パフォーマンスが偶然を大きく上回っているものの、まだ飽和には程遠いことを示しています。モデルの規模やGUIへの特化が遷移レベルのパフォーマンスを確実に予測するものではないこと、またアクションのみの予測は正確なアクションと値の復元よりも一般的に容易であることが分かりました。対照実験により、このベンチマークが視覚的証拠に実質的に依存していること、そして特に同一ワークフロー内の即時後継状態と後の状態を区別する際に1ステップの到達可能性（T3）が引き続き課題であることが示されました。
論文の注目点
- EvoGUIは、正規化された軌跡から直接3つのGUI状態遷移診断を導出し、スキーマ正規化後に追加のタスクラベルアノテーションを行う必要性を排除する。
- EvoGUI-Benchは、Mind2WebおよびWebLINXの120のドメインから収集された3,000のインスタンスを含み、28のゼロショットVLM構成の評価に使用される。
- 実証結果から、GUI遷移の理解にはまだ大きな向上余地があり、モデルサイズの拡大やGUI特有の特化が常に高いパフォーマンスを保証するわけではないことが明らかになった。