論文の概要: GUI-Robust: A Comprehensive Dataset for Testing GUI Agent Robustness in Real-World Anomalies

• arxiv url: http://arxiv.org/abs/2506.14477v1
• Date: Tue, 17 Jun 2025 12:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.474766
• Title: GUI-Robust: A Comprehensive Dataset for Testing GUI Agent Robustness in Real-World Anomalies
• Title（参考訳）: GUI-Robust: 実世界の異常におけるGUIエージェントのロバストネスをテストするための総合データセット
• Authors: Jingqi Yang, Zhilong Song, Jiawei Chen, Mingli Song, Sheng Zhou, linjun sun, Xiaogang Ouyang, Chun Chen, Can Wang,
• Abstract要約: 本稿ではGUIエージェント評価のための新しいデータセットであるGUI-Robustを紹介する。 また、RPAツールを介して自然なインタラクションからユーザアクションシーケンスを収集する半自動データセット構築パラダイムを提案する。 このパラダイムは、アノテーションの時間コストを19倍以上削減します。 GUI-Robustデータセットを用いて最先端のGUIエージェントを評価し,異常なシナリオにおける性能劣化を明らかにした。
• 参考スコア（独自算出の注目度）: 34.63675989928621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of high-quality datasets is crucial for benchmarking and advancing research in Graphical User Interface (GUI) agents. Despite their importance, existing datasets are often constructed under idealized conditions, overlooking the diverse anomalies frequently encountered in real-world deployments. To address this limitation, we introduce GUI-Robust, a novel dataset designed for comprehensive GUI agent evaluation, explicitly incorporating seven common types of anomalies observed in everyday GUI interactions. Furthermore, we propose a semi-automated dataset construction paradigm that collects user action sequences from natural interactions via RPA tools and then generate corresponding step and task descriptions for these actions with the assistance of MLLMs. This paradigm significantly reduces annotation time cost by a factor of over 19 times. Finally, we assess state-of-the-art GUI agents using the GUI-Robust dataset, revealing their substantial performance degradation in abnormal scenarios. We anticipate that our work will highlight the importance of robustness in GUI agents and inspires more future research in this direction. The dataset and code are available at https://github.com/chessbean1/GUI-Robust..
• Abstract（参考訳）: 高品質なデータセットの開発は、グラフィカルユーザインタフェース(GUI)エージェントのベンチマークと研究の進展に不可欠である。 その重要性にもかかわらず、既存のデータセットは、しばしば理想化された条件下で構築され、現実世界のデプロイメントで頻繁に発生する様々な異常を見渡せる。 この制限に対処するために、GUIエージェント評価のための新しいデータセットであるGUI-Robustを導入し、日常的なGUIインタラクションで見られる7つの共通タイプの異常を明示的に取り入れた。 さらに、RPAツールを介して自然なインタラクションからユーザアクションシーケンスを収集し、MLLMの助けを借りて、これらのアクションに対応するステップとタスク記述を生成する半自動データセット構築パラダイムを提案する。 このパラダイムは、アノテーションの時間コストを19倍以上削減します。 最後に、GUI-Robustデータセットを用いて最先端のGUIエージェントを評価し、異常なシナリオにおける性能劣化を明らかにした。 我々は,GUIエージェントにおけるロバスト性の重要性を強調し,今後の研究を促すことを期待する。 データセットとコードはhttps://github.com/chessbean1/GUI-Robust.comで公開されている。 と。

関連論文リスト

• Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
  実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。 そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。 我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-06-05T04:12:36Z)
• Breaking the Data Barrier -- Building GUI Agents Through Task Generalization [25.129269032612832]
  本研究では,データ豊かで推論集約的なタスクにおける視覚言語モデル(VLM)のトレーニングを提案する。 本稿では,GUI認識,マルチモーダル推論,テキスト推論など,手軽に利用できるインストラクションチューニングデータを用いて,さまざまなタスクを探索する。 われわれの研究はGUIエージェントのドメイン間知識伝達に関する貴重な知見を提供し、データの不足に対処するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2025-04-14T11:35:02Z)
• GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
  MLLMをベースとした自律エージェントGUI-Beeを提案する。 NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
  論文  参考訳（メタデータ） (2025-01-23T18:16:21Z)
• OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis [55.390060529534644]
  グラフィカルユーザインタフェース(GUI)エージェントのための新しいデータ合成パイプラインであるOS-Genesisを提案する。 事前に定義されたタスクに頼る代わりに、OS-Genesisはエージェントがまず環境を認識し、ステップワイドなインタラクションを実行することを可能にする。 我々は,OS-Genesisを用いたGUIエージェントのトレーニングにより,高度に挑戦するオンラインベンチマークの性能が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2024-12-27T16:21:58Z)
• GUI Testing Arena: A Unified Benchmark for Advancing Autonomous GUI Testing Agent [24.97846085313314]
  自動GUIテストのプロセス全体を評価するための,形式化された総合的な環境を提案する。 テストプロセスは、テスト意図の生成、テストタスクの実行、GUI欠陥検出という、3つの重要なサブタスクに分割します。 実際のモバイルアプリケーション、人工的に注入された欠陥を持つモバイルアプリケーション、合成データという3つのデータタイプを使用して、異なるモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-12-24T13:41:47Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。