論文の概要: GUI-PRA: Process Reward Agent for GUI Tasks

• arxiv url: http://arxiv.org/abs/2509.23263v2
• Date: Fri, 03 Oct 2025 02:24:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 12:05:48.036809
• Title: GUI-PRA: Process Reward Agent for GUI Tasks
• Title（参考訳）: GUI-PRA:GUIタスクのプロセスリワードエージェント
• Authors: Tao Xiong, Xavier Hu, Yurun Chen, Yuhang Liu, Changqiao Wu, Pengzhi Gao, Wei Liu, Jian Luan, Shengyu Zhang,
• Abstract要約: プロセスリワードモデル(Process Reward Models, PRM)は、推論中に重要なプロセス信号でこれらのエージェントをガイドできる、有望なソリューションである。 PRMは「中間の失われた」現象に悩まされ、歴史的に圧倒的な状況が現在の段階の評価を損なう。 GUI-PRA(Process Reward Agent for GUI Tasks)は,標準的なPRMよりも優れたプロセス報酬の提供を目的とした判定エージェントである。
• 参考スコア（独自算出の注目度）: 25.20594694997543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphical User Interface (GUI) Agents powered by Multimodal Large Language Models (MLLMs) show significant potential for automating tasks. However, they often struggle with long-horizon tasks, leading to frequent failures. Process Reward Models (PRMs) are a promising solution, as they can guide these agents with crucial process signals during inference. Nevertheless, their application to the GUI domain presents unique challenges. When processing dense artificial inputs with long history data, PRMs suffer from a "lost in the middle" phenomenon, where the overwhelming historical context compromises the evaluation of the current step. Furthermore, standard PRMs lacks GUI changing awareness, providing static evaluations that are disconnected from the dynamic consequences of actions, a critical mismatch with the inherently dynamic nature of GUI tasks. In response to these challenges, we introduce GUI-PRA (Process Reward Agent for GUI Tasks), a judge agent designed to better provide process reward than standard PRM by intelligently processing historical context and actively perceiving UI state changes. Specifically, to directly combat the ``lost in the middle'' phenomenon, we introduce a dynamic memory mechanism consisting of two core components: a Relevance-based Retrieval Module to actively fetch pertinent information from long histories and a Progressive Summarization Module to dynamically condense growing interaction data, ensuring the model focuses on relevant context. Moreover, to address the lack of UI changing awareness, we introduce an Aadaptive UI Perception mechanism. This mechanism enables the agent to reason about UI state changes and dynamically select the most appropriate tool to gather grounded visual evidence, ensuring its evaluation is always informed by the current UI context.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)を利用したグラフィカルユーザインタフェース(GUI)エージェントは,タスクの自動化に大きな可能性を示す。 しかし、彼らはしばしば長期の作業で苦労し、頻繁な失敗に繋がる。 プロセスリワードモデル(Process Reward Models, PRM)は、推論中に重要なプロセス信号でこれらのエージェントをガイドできる、有望なソリューションである。 それでも、GUIドメインへのそれらのアプリケーションには固有の課題がある。 長い履歴データで複雑な人工的な入力を処理する場合、PRMは「中間にある失われた」現象に悩まされる。 さらに、標準のPRMではGUI変更の認識が欠如しており、GUIタスクの本質的に動的な性質と批判的なミスマッチであるアクションの動的結果から切り離された静的評価を提供する。 これらの課題に対処するため,GUI-PRA (Process Reward Agent for GUI Tasks) を導入し,UIの状態変化をインテリジェントに処理し,プロセス報酬を標準のPRMよりも適切に提供するための判断エージェントを提案する。 具体的には,2つのコアコンポーネントからなる動的メモリ機構を導入する。関連性ベースの検索モジュールで,長い履歴から関連する情報を積極的に取得し,対話データを動的に収束させるプログレッシブ・サマリゼーションモジュールで,モデルが関連するコンテキストにフォーカスすることを保証する。 さらに、UIが意識を変えることの欠如に対処するために、Aadaptive UI Perceptionメカニズムを導入します。 このメカニズムにより、エージェントはUIの状態変化を推論し、最も適切なツールを動的に選択して、基盤となる視覚的エビデンスを収集し、その評価が現在のUIコンテキストによって常に通知されるようにする。

関連論文リスト

• Mano Report [29.551514304095296]
  Manoは、大規模なWebおよびコンピュータシステムデータに基づいて事前訓練されたマルチモーダル基盤モデル上に構築された堅牢なGUIエージェントである。 Mano氏は、Mind2WebやOSWorldなど、複数のGUIベンチマークで最先端のパフォーマンスをデモしている。
  論文  参考訳（メタデータ） (2025-09-22T03:13:58Z)
• Less is More: Empowering GUI Agent with Context-Aware Simplification [62.02157661751793]
  我々は,SimpAgentと呼ばれる,効率的かつ効果的なGUIエージェントを構築するためのコンテキスト認識フレームワークを提案する。 上記のコンポーネントにより、SimpAgentは27%のFLOPを削減し、優れたGUIナビゲーション性能を実現する。
  論文  参考訳（メタデータ） (2025-07-04T17:37:15Z)
• Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
  実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。 そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。 我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-06-05T04:12:36Z)
• UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
  本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。 OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
  論文  参考訳（メタデータ） (2025-01-21T17:48:10Z)
• Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining [67.87810796668981]
  インフォメーション・インフォメーション・インフォメーション・クロッピング(ISC)と自己精製デュアルラーニング(SRDL) Irisは850KのGUIアノテーションだけで、複数のベンチマークで最先端のパフォーマンスを実現している。 これらの改善は、WebとOSエージェントの両方の下流タスクで大幅に向上した。
  論文  参考訳（メタデータ） (2024-12-13T18:40:10Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• You Only Look at Screens: Multimodal Chain-of-Action Agents [37.118034745972956]
  Auto-GUIは、インターフェースと直接対話するマルチモーダルソリューションである。 そこで本研究では,エージェントが実行すべきアクションを決定するためのチェーン・オブ・アクション手法を提案する。 我々は,30$Kのユニークな命令を持つ新しいデバイス制御ベンチマークAITWに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-09-20T16:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。