論文の概要: SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments
- arxiv url: http://arxiv.org/abs/2610.12611v2
- Date: Wed, 14 Oct 2026 08:40:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:14.999486
- Title: SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments
- Title(参考訳): SoftwareGym: 多様な合成ソフトウェア環境によるコンピュータ利用エージェントトレーニングのスケールアップ
- Abstract要約: SoftwareGymはGUIソフトウェア環境を合成するためのパイプラインである。
構造的に多様な設計を生成し、実行可能なアプリケーションとして認識し、GUI評価を使用して機能的信頼性を確保する。
我々は、同じ12のカテゴリにまたがる120タスク評価スイートであるSoftwareGym-Benchを構築し、これらの環境から収集した軌道を用いてCUAトレーニングを行う。
- 参考スコア(独自算出の注目度): 45.89029098414446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-use agents (CUAs) are rapidly improving, yet synthesizing diverse and reliable software environments at scale remains challenging. Native application environments require substantial construction and integration effort, which limits application coverage and increases the risk of application-specific overfitting. Browser-hosted environments provide limited interaction depth and workflow complexity. These limitations motivate SoftwareGym, an automated pipeline for synthesizing GUI software environments with diverse interfaces, executable functionality, and runtime-verified behavior. It generates structurally diverse designs, realizes them as runnable applications, and uses GUI evaluation with iterative repair to ensure functional reliability. Using SoftwareGym, we synthesize 182 applications across twelve categories and achieve a mean GUI task pass rate of 91.5%. We construct SoftwareGym-Bench, a 120-task evaluation suite spanning the same twelve categories, and use trajectories collected from these environments for CUA training. The resulting model improves Pass@3 from 41.39% to 56.97% on the strictly out-of-domain OSWorld benchmark and achieves 40.0% on SoftwareGym-Bench. These results demonstrate the potential of synthesized software environments as scalable and transferable supervision for CUA training.
- Abstract(参考訳): コンピュータ利用エージェント(CUA)は急速に改善されているが、多様な信頼性の高いソフトウェア環境を大規模に合成することは依然として困難である。
ネイティブなアプリケーション環境は、アプリケーションカバレッジを制限し、アプリケーション固有のオーバーフィッティングのリスクを増大させる、相当な構築と統合の努力を必要とする。
ブラウザがホストする環境は、インタラクションの深さとワークフローの複雑さを制限します。
これらの制限はSoftwareGymを動機付けており、多様なインターフェース、実行可能な機能、実行時の検証された振る舞いでGUIソフトウェア環境を合成するためのパイプラインである。
構造的に多様な設計を生成し、実行可能なアプリケーションとして実現し、GUI評価と反復的な修復を使って機能的信頼性を確保する。
SoftwareGymを用いて、12のカテゴリにまたがる182のアプリケーションを合成し、平均GUIタスクパス率91.5%を達成する。
我々は、同じ12のカテゴリにまたがる120タスク評価スイートであるSoftwareGym-Benchを構築し、これらの環境から収集した軌道を用いてCUAトレーニングを行う。
その結果、Pass@3は41.39%から56.97%に改善され、SoftwareGym-Benchでは40.0%に達した。
これらの結果は、CUAトレーニングのスケーラブルで転送可能な監視手段として、合成されたソフトウェア環境の可能性を示している。
関連論文リスト
- AutoGUIWorld: Image Generators as Visual World Models for GUI Agent [24.045452652419858]
本稿では,GUIインタラクショントラジェクトリを,対応するソフトウェア環境のデプロイや実行なしに合成するフレームワークであるAutoGUIWorldを紹介する。
AutoGUIWorldは、オペレーティングシステムコンテキスト、視覚的外観、インターフェース状態の構造化仕様から初期GUIシーンをサンプリングし、それらのシーンで条件付けられたタスクを生成する。
その後、プランナーはアトミックアクションとその意図した視覚効果を指定し、画像生成器は現在のスクリーンショットを反復的に編集してその後の観察を行う。
論文 参考訳(メタデータ) (2026-10-01T07:22:53Z) - RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳(メタデータ) (2026-09-18T17:00:56Z) - CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents [57.098070497654874]
コンピュータ利用エージェントはOSWorldやAndroidWorldのようなベンチマークに進歩してきたが、いまだGUIを通して動作している。
本稿では,スケーラブルな環境間パイプラインCUA-Universeを紹介する。
論文 参考訳(メタデータ) (2026-09-04T17:26:18Z) - WindowsWorld: A Process-Centric Benchmark of Autonomous GUI Agents in Professional Cross-Application Environments [34.06270058972]
WindowsWorldは、現実世界のプロのアクティビティを反映した複雑なマルチステップタスクでGUIエージェントを評価するように設計されている。
本手法では,16の職業によって構成されたマルチエージェント・フレームワークを用いて,4つの困難レベルタスクを生成する。
ベンチマークには181のタスクが含まれ、17の一般的なデスクトップアプリケーションで平均5.0のサブゴールがある。
論文 参考訳(メタデータ) (2026-04-30T12:13:27Z) - Gym-Anything: Turn any Software into an Agent Environment [67.2443447990221]
Gym-Anythingは、あらゆるソフトウェアをインタラクティブなコンピュータ利用環境に変換するためのフレームワークである。
CUA-Worldは、医学、天文学、工学、エンタープライズシステムなど、領域にまたがる10万以上の長期的タスクのコレクションである。
論文 参考訳(メタデータ) (2026-04-07T17:38:15Z) - GUI-GENESIS: Automated Synthesis of Efficient Environments with Verifiable Rewards for GUI Agent Post-Training [30.675339113121225]
提案するGUI-GENESIS(GUI-GENESIS)は,効率の良いGUIトレーニング環境を,評価可能な報酬で自動生成するフレームワークである。
GUI-GENESISは、実際のアプリケーションのトレーニングと比較して、環境のレイテンシを10倍削減し、エポック毎のコストを28,000ドル以上削減する。
論文 参考訳(メタデータ) (2026-02-15T10:58:01Z) - SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。
SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。
我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
論文 参考訳(メタデータ) (2024-05-06T17:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。