論文の概要: Beyond Sequential Interaction: Benchmarking Parallel Execution and Coordination for GUI Agents
- arxiv url: http://arxiv.org/abs/2607.22689v1
- Date: Fri, 17 Jul 2026 12:48:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.028079
- Title: Beyond Sequential Interaction: Benchmarking Parallel Execution and Coordination for GUI Agents
- Title（参考訳）: シーケンス間相互作用を超えて:GUIエージェントの並列実行とコーディネーションのベンチマーク
- Abstract要約: ParaGUIBenchは、複数のグラフィカルユーザインタフェース(GUI)エージェントを別々のデスクトップインスタンス上で並列実行および調整するための最初のベンチマークである。
ParaGUIBenchでは、ParaGUIが46.4%の成功率に達し、最強のシリアルベースライン(Claude Sonnet 4.6)を12.9ポイント上回った。
これらの結果から、並列実行は、分解可能な長期GUIタスクにおける成功率と効率の両方を向上し、さらに研究する価値のある方向性を示すことが示唆された。
- 参考スコア（独自算出の注目度）: 25.221815264081
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphical user interface (GUI) agents are systems powered by large multimodal models (LMMs). They perceive screen state and execute user instructions through GUI actions such as clicking, typing, and scrolling on desktops and mobile devices. However, current agents scale poorly to long-horizon tasks: actions incur costly LMM inferences, and performance degrades as context grows. Humans divide such workloads among collaborators who complete sub-tasks in parallel. Yet parallel coordination among GUI agents has received little attention. To close this gap, we introduce ParaGUIBench, to our knowledge, the first benchmark dedicated to parallel execution and coordination of multiple GUI agents on separate desktop instances. It consists of three components: a multi-device Docker infrastructure with a shared file system; a dataset of 233 tasks spanning six task categories; and an evaluation system with efficiency metrics, including step reduction ratio and token cost. We further introduce ParaGUI, a planner-worker agent that decomposes GUI tasks and dispatches sub-tasks to concurrent workers on separate desktop instances. On ParaGUIBench, ParaGUI reaches a 46.4% success rate, outperforming the strongest serial baseline (Claude Sonnet 4.6) by 12.9 points while using roughly half the steps and less than half the tokens. These results show that parallel execution can improve both success rate and efficiency on decomposable, long-horizon GUI tasks, pointing to a direction worth further study.
- Abstract（参考訳）: グラフィカルユーザインタフェース (GUI) エージェントは、大型マルチモーダルモデル (LMM) を利用したシステムである。
スクリーンの状態を認識し、デスクトップやモバイルデバイス上でクリック、タイピング、スクロールといったGUIアクションを通じてユーザ指示を実行する。
しかし、現在のエージェントは、コストがかかるLMM推論のアクションや、コンテキストが大きくなるにつれてパフォーマンスが低下するといった、長い水平タスクにあまりスケールしない。
人間はこれらのワークロードを、サブタスクを並列に完了する共同作業者に分割する。
しかし、GUIエージェント間の並列調整はほとんど注目されていない。
このギャップを埋めるために、私たちはParaGUIBenchを紹介します。これは、別々のデスクトップインスタンス上で複数のGUIエージェントの並列実行と調整に特化した最初のベンチマークです。
共有ファイルシステムを備えたマルチデバイスDockerインフラストラクチャ、6つのタスクカテゴリにまたがる233タスクのデータセット、ステップ削減率とトークンコストを含む効率指標を備えた評価システム、の3つのコンポーネントで構成されている。
さらに、GUIタスクを分解し、別のデスクトップインスタンス上で並列ワーカーにサブタスクをディスパッチするParaGUIを紹介します。
ParaGUIBenchでは、ParaGUIが46.4%の成功率に達し、最強のシリアルベースライン(Claude Sonnet 4.6)を12.9ポイント上回った。
これらの結果から、並列実行は、分解可能な長期GUIタスクにおける成功率と効率の両方を向上し、さらに研究する価値のある方向性を示すことが示唆された。
関連論文リスト
- JarvisGUI: Towards Cross-Device GUI Agents with Dynamic Task Composition [51.15720718264743]
プラットフォーム間の協調的なインタラクションを必要とするデバイス間通信におけるGUIエージェントの評価を行う動的ベンチマークであるJarvisGUIを紹介する。
JarvisGUIは、GUIタスクを軽量な型システムの下で入力出力変換として定式化し、複数ステップのクロスデバイス変換を自動的に構成する。
我々は、最先端のオープンソースGUIエージェントが、実際の使用に必要な状態遷移認識、クロスプラットフォームのコンテキスト推論、長期水平依存性管理に苦労していることを示します。
論文 参考訳（メタデータ） (2026-09-09T16:59:59Z) - UIPro: Unleashing Superior Interaction Capability For GUI Agents [33.77980648230746]
人間のようなグラフィカルユーザインタフェース(GUI)を知覚し、操作する自律エージェントの構築は、人工知能の分野における長年のビジョンである。
視覚言語モデル(VLM)のマルチモーダル理解能力に基づくGUIエージェントの開発が試みられている。
本稿では,多プラットフォーム・マルチタスクGUIインタラクションデータを用いた新しい汎用GUIエージェントであるtextUIProを提案する。
論文 参考訳（メタデータ） (2025-09-22T03:04:53Z) - OmniActor: A Generalist GUI and Embodied Agent for 2D&3D Worlds [21.902626737678286]
マルチモーダルな言語モデルは、タスクを積極的に実行できるマルチモーダルエージェントへと進化している。
エージェント研究の多くはGUIやエンボディ化されたシナリオに焦点を合わせており、それらはそれぞれ2次元仮想世界や3次元現実世界と相互作用するエージェントに対応している。
構造とデータの観点から設計した高性能汎用エージェントOmniActorを提案する。
論文 参考訳（メタデータ） (2025-09-02T13:47:54Z) - CoAct-1: Computer-using Agents with Coding as Actions [94.99657662893338]
CoAct-1はGUIベースの制御と直接プログラム実行を組み合わせた新しいマルチエージェントシステムである。
我々は、CoAct-1が60.76%の最先端の成功率を達成したOSWorldベンチマークで、我々のシステムを評価した。
論文 参考訳（メタデータ） (2025-08-05T21:33:36Z) - MMBench-GUI: Hierarchical Multi-Platform Evaluation Framework for GUI Agents [88.35544552383581]
MMBench-GUIは、Windows、Linux、iOS、Android、WebプラットフォームでGUI自動化エージェントを評価する階層的なベンチマークである。
GUIコンテンツ理解、要素グラウンディング、タスク自動化、タスクコラボレーションの4つのレベルで構成されており、GUIエージェントに必要なスキルをカバーしています。
論文 参考訳（メタデータ） (2025-07-25T17:59:26Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - ScaleTrack: Scaling and back-tracking Automated GUI Agents [11.046190201201348]
自動GUIエージェントのグラウンドニングとバックトラック計画のスケーリングによるトレーニングフレームワークであるScaleTrackを提案する。
さまざまなソースから異なる合成基準のGUIサンプルを収集し,GUIグラウンドモデルをトレーニングするための同一テンプレートに統一する。
現在のGUIイメージから次のアクションを予測する新しいトレーニング戦略を設計し、GUIイメージに繋がった過去のアクションをバックトラックする。
論文 参考訳（メタデータ） (2025-05-01T09:27:13Z) - UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z) - InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection [38.833925781308665]
MLLMベースのGUIエージェントである textitInfiGUIAgent を2段階の教師付き微調整パイプラインでトレーニングした。
ステージ1はGUIの理解や接地といった基本的なスキルを強化し、ステージ2は階層的推論と予測反射推論のスキルを統合する。
textitInfiGUIAgentは、いくつかのGUIベンチマークで競合するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-01-08T15:45:21Z) - VideoGUI: A Benchmark for GUI Automation from Instructional Videos [78.97292966276706]
VideoGUIは、ビジュアル中心のGUIタスクでGUIアシスタントを評価するために設計された、新しいマルチモーダルベンチマークである。
高品質なWebインストラクショナルビデオから得られたベンチマークは、プロフェッショナルと新しいソフトウェアに関わるタスクに焦点を当てている。
評価の結果,SoTAの大規模マルチモーダルモデルであるGPT4oでさえ,視覚中心のGUIタスクでは不十分であることが判明した。
論文 参考訳（メタデータ） (2024-06-14T17:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。