論文の概要: Benchmarking and Improving GUI Agents in High-Dynamic Environments

• arxiv url: http://arxiv.org/abs/2604.25380v1
• Date: Tue, 28 Apr 2026 08:43:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.782172
• Title: Benchmarking and Improving GUI Agents in High-Dynamic Environments
• Title（参考訳）: ハイダイナミック環境におけるGUIエージェントのベンチマークと改善
• Authors: Enqi Liu, Liyuan Pan, Zhi Gao, Yan Yang, Chenrui Shi, Yang Liu, Jingrong Wu, Qing Li,
• Abstract要約: 本稿では,動的インタフェースのエージェントであるDynamicUIについて紹介する。 DynamicGUIBenchの実験では、DynamicUIは動的GUI環境のパフォーマンスを大幅に改善することを示した。
• 参考スコア（独自算出の注目度）: 34.131789435338796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Graphical User Interface (GUI) agents have predominantly focused on training paradigms like supervised fine-tuning (SFT) and reinforcement learning (RL). However, the challenge of high-dynamic GUI environments remains largely underexplored. Existing agents typically rely on a single screenshot after each action for decision-making, leading to a partially observable (or even unobservable) Markov decision process, where the key GUI state including important information for actions is often inadequately captured. To systematically explore this challenge, we introduce DynamicGUIBench, a comprehensive online GUI benchmark spanning ten applications and diverse interaction scenarios characterized by important interface changes between actions. Furthermore, we present DynamicUI, an agent designed for dynamic interfaces, which takes screen-recording videos of the interaction process as input and consists of three components: a dynamic perceiver, a refinement strategy, and a reflection. Specifically, the dynamic perceiver clusters frames of the GUI video, generates captions for the centroids, and iteratively selects the most informative frames as the salient dynamic context. Considering that there may be inconsistencies and noise between the selected frames and the textual context of the agent, the refinement strategy employs an action-conditioned filtering to refine thoughts to mitigate thought-action inconsistency and redundancy. Based on the refined agent trajectories, the reflection module provides effective and accurate guidance for further actions. Experiments on DynamicGUIBench demonstrate that DynamicUI significantly improves the performance in dynamic GUI environments, while maintaining competitive performance on other public benchmarks.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントの最近の進歩は、教師付き微調整(SFT)や強化学習(RL)といったトレーニングパラダイムに重点を置いている。 しかし、ハイダイナミックなGUI環境の課題は、まだほとんど未検討である。 既存のエージェントは通常、各アクションの後に1つのスクリーンショットを意思決定に頼り、部分的に観察可能な(あるいは観測不可能な)マルコフ決定プロセスに繋がる。 この課題を体系的に探求するために、DynamicGUIBenchという10のアプリケーションとアクション間の重要なインターフェース変更を特徴とする多様なインタラクションシナリオを網羅した総合的なオンラインGUIベンチマークを紹介した。 さらに、動的インタフェース用に設計されたエージェントであるDynamicUIについて、インタラクションプロセスの画面記録ビデオを入力として取り、動的知覚器、洗練戦略、リフレクションという3つのコンポーネントから構成される。 具体的には、GUIビデオの動的知覚クラスタフレームを生成し、センチロイドのキャプションを生成し、最も情報性の高いフレームを健全な動的コンテキストとして反復的に選択する。 選択したフレームとエージェントのテキストコンテキストの間には矛盾とノイズがある可能性があるため、改良戦略では、思考の不整合と冗長性を軽減するために、思考を洗練させるためにアクション条件付きフィルタリングを用いる。 改良されたエージェント軌道に基づいて、リフレクションモジュールは、さらなるアクションのための効果的かつ正確なガイダンスを提供する。 DynamicGUIBenchの実験では、DynamicUIは他の公開ベンチマークでの競合性能を維持しながら、動的GUI環境におけるパフォーマンスが大幅に向上することを示した。

関連論文リスト

• GUI-PRA: Process Reward Agent for GUI Tasks [25.20594694997543]
  プロセスリワードモデル(Process Reward Models, PRM)は、推論中に重要なプロセス信号でこれらのエージェントをガイドできる、有望なソリューションである。 PRMは「中間の失われた」現象に悩まされ、歴史的に圧倒的な状況が現在の段階の評価を損なう。 GUI-PRA(Process Reward Agent for GUI Tasks)は,標準的なPRMよりも優れたプロセス報酬の提供を目的とした判定エージェントである。
  論文  参考訳（メタデータ） (2025-09-27T11:42:36Z)
• Less is More: Empowering GUI Agent with Context-Aware Simplification [62.02157661751793]
  我々は,SimpAgentと呼ばれる,効率的かつ効果的なGUIエージェントを構築するためのコンテキスト認識フレームワークを提案する。 上記のコンポーネントにより、SimpAgentは27%のFLOPを削減し、優れたGUIナビゲーション性能を実現する。
  論文  参考訳（メタデータ） (2025-07-04T17:37:15Z)
• Learning, Reasoning, Refinement: A Framework for Kahneman's Dual-System Intelligence in GUI Agents [15.303188467166752]
  人間の動作に類似したGUI自動化のための適応学習を実現することにより,制限を克服する認知フレームワークであるCogniGUIを提案する。 エージェントシステムの一般化と適応性を評価するために,マルチアプリケーションナビゲーション,動的状態遷移,インターフェースのコヒーレンスなどを含む総合ベンチマークScreenSeekを導入する。 実験結果から,現在のGUIグラウンドベンチマークと新たに提案したベンチマークの両方において,CogniGUIが最先端の手法を上回ることが示された。
  論文  参考訳（メタデータ） (2025-06-22T06:30:52Z)
• DiMo-GUI: Advancing Test-time Scaling in GUI Grounding via Modality-Aware Visual Reasoning [53.42606072841585]
  トレーニング不要なGUIグラウンドティングフレームワークであるDiMo-GUIを紹介する。 GUIをモノリシックなイメージとして扱う代わりに、入力をテキスト要素とアイコン要素に分割する。 DiMo-GUIは、予測が曖昧で不正確である場合、候補焦点領域を生成することにより、動的に注意を集中する。
  論文  参考訳（メタデータ） (2025-06-12T03:13:21Z)
• Guiding VLM Agents with Process Rewards at Inference Time for GUI Navigation [101.09478572153239]
  本稿では,GUIナビゲーションにおける報酬モデルと推論時の制御により,VLMエージェントをプロセス監視で誘導する手法を提案する。 このガイダンスにより、VLMエージェントは各推論ステップでのアクションを最適化し、静的環境と動的環境の両方のパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2025-04-22T17:52:42Z)
• Think Twice, Click Once: Enhancing GUI Grounding via Fast and Slow Systems [57.30711059396246]
  現在のグラフィカルユーザインタフェース(GUI)基盤システムは、自然言語命令に基づいてインターフェース要素を特定する。 人間の二重システム認識にインスパイアされたFocusは,高速予測と系統解析を組み合わせた新しいGUI基盤フレームワークである。
  論文  参考訳（メタデータ） (2025-03-09T06:14:17Z)
• UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
  本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。 OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
  論文  参考訳（メタデータ） (2025-01-21T17:48:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。