論文の概要: Covering Human Action Space for Computer Use: Data Synthesis and Benchmark

• arxiv url: http://arxiv.org/abs/2605.12501v1
• Date: Tue, 12 May 2026 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.089661
• Title: Covering Human Action Space for Computer Use: Data Synthesis and Benchmark
• Title（参考訳）: コンピュータ利用のためのヒューマンアクション空間:データ合成とベンチマーク
• Abstract要約: コンピュータ利用エージェント(CUA)は、GPT-5.4とClaudeによって説明されているように、画面上での作業を自動化する。 しかし、複雑な低周波相互作用に対する信頼性はまだ貧弱であり、ユーザの信頼を制限している。 複雑な相互作用におけるモデルの能力を評価するための新しいベンチマークCUActSpotを提案する。
• 参考スコア（独自算出の注目度）: 59.01879944842542
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Computer-use agents (CUAs) automate on-screen work, as illustrated by GPT-5.4 and Claude. Yet their reliability on complex, low-frequency interactions is still poor, limiting user trust. Our analysis of failure cases from advanced models suggests a long-tail pattern in GUI operations, where a relatively small fraction of complex and diverse interactions accounts for a disproportionate share of task failures. We hypothesize that this issue largely stems from the scarcity of data for complex interactions. To address this problem, we propose a new benchmark CUActSpot for evaluating models' capabilities on complex interactions across five modalities: GUI, text, table, canvas, and natural image, as well as a variety of actions (click, drag, draw, etc.), covering a broader range of interaction types than prior click-centric benchmarks that focus mainly on GUI widgets. We also design a renderer-based data-synthesis pipeline: scenes are automatically generated for each modality, screenshots and element coordinates are recorded, and an LLM produces matching instructions and action traces. After training on this corpus, our Phi-Ground-Any-4B outperforms open-source models with fewer than 32B parameters. We will release our benchmark, data, code, and models at https://github.com/microsoft/Phi-Ground.git
• Abstract（参考訳）: コンピュータ利用エージェント(CUA)は、GPT-5.4とClaudeによって説明されているように、画面上での作業を自動化する。 しかし、複雑な低周波相互作用に対する信頼性はまだ貧弱であり、ユーザの信頼を制限している。 先進的なモデルによる障害事例の解析はGUI操作における長い尾パターンを示唆している。 この問題は、複雑な相互作用のためのデータの不足に起因している、という仮説を立てる。 この問題に対処するために,GUI,テキスト,テーブル,キャンバス,自然画像といった5つのモードにわたる複雑なインタラクションに関するモデルの能力を評価するベンチマークCUActSpotを提案する。 シーンは各モードごとに自動的に生成され、スクリーンショットと要素座標が記録され、LLMは一致する命令とアクショントレースを生成する。 このコーパスのトレーニングの後、Phi-Ground-Any-4Bは32B未満のパラメータを持つオープンソースモデルより優れています。 ベンチマーク、データ、コード、モデルをhttps://github.com/microsoft/Phi-Ground.gitでリリースします。

関連論文リスト

• GUI-CC: Benchmarking Contextual Consistency of GUI World Models as Agent Environments [20.28422479068168]
  エージェント環境としてGUIワールドモデルのコンテキスト整合性を評価するベンチマークGUI-CCを紹介する。 我々はGUIOdysseyから500のオフライントラジェクトリタスクを構築し、30のモバイルアプリで200のエミュレータ認証オンラインタスクを構築した。 実験により、信頼性の高い環境シミュレーションは保証されないことが示された。
  論文  参考訳（メタデータ） (2026-08-30T05:19:43Z)
• WinDeskGround: A Benchmark for Robust GUI Grounding in Complex Multi-Window Desktop Environments [49.98994180610182]
  MLLM (Multimodal Large Language Models) はGUIの自動化に革命をもたらしたが、その効果は理想化された単一層インタフェースでほぼ確立されている。 本稿では,最先端のエージェントが現実のデスクトップ環境において,異なる課題に直面しているという,重要な信頼性ギャップを明らかにする。 我々はGUI基盤の堅牢性を評価するための新しいベンチマークと合成フレームワークであるWinDeskGroundを紹介する。
  論文  参考訳（メタデータ） (2026-05-13T02:48:52Z)
• PlotCraft: Pushing the Limits of LLMs for Complex and Interactive Data Visualization [82.96200364977737]
  PlotCraftは、1kの挑戦的な視覚化タスクを特徴とする新しいベンチマークだ。 PlotCraftは7つのハイレベルな視覚化タスクを中心に構成されており、48の異なるチャートタイプを含んでいる。 単一ターン生成と多ターン改善の両方を多種多様なタスク複雑度にわたって体系的に評価するのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-10-15T10:14:39Z)
• Phi-Ground Tech Report: Advancing Perception in GUI Grounding [55.44475003199647]
  textbfPhi-Groundモデルファミリは、5つのグラウンドベンチマークで最先端のパフォーマンスを達成する。 textittextbf43.2 on ScreenSpot-pro と textittextbf27.2 on UI-Vision
  論文  参考訳（メタデータ） (2025-07-31T17:59:09Z)
• Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis [57.371814877372515]
  グラフィカルユーザインタフェース(GUI)の基盤は、コンピュータ利用エージェント開発において依然として重要なボトルネックとなっている。 多様なタスクタイプにまたがる564の細かな注釈付きサンプルからなる総合ベンチマークであるOSWorld-Gを紹介する。 我々は、400万のサンプルを含む、最大のコンピュータ利用基盤データセットであるJediを合成してリリースする。
  論文  参考訳（メタデータ） (2025-05-19T15:09:23Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。