論文の概要: RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents

• arxiv url: http://arxiv.org/abs/2609.22000v2
• Date: Mon, 21 Sep 2026 07:09:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.265366
• Title: RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents
• Title（参考訳）: RecreationWorld: ハイブリッドコンピュータ利用エージェントのためのスケーラブルで検証可能な環境
• Abstract要約: 真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。 インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。 レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
• 参考スコア（独自算出の注目度）: 53.51359930826217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer-use agents (CUAs) have advanced along two separate lines: graphical interaction and software development through code and the command line. Real digital work requires both, interleaved rather than stacked end to end. We study hybrid CUAs that autonomously decide when to explore an interface, implement software, and run and visually verify their artifacts. We introduce RecreationWorld, a five-platform framework built around recreation: given a running reference, an agent must discover its behavior and build a faithful implementation with no prescribed workflow. RecreationWorld provides reproducible environments on Ubuntu, macOS, Windows, Android, and Web, plus a unified harness with native GUI control and coding tools. The running reference serves as an oracle for hidden behavioral tests, providing execution-grounded rewards. We scale trajectory generation with high-quality open-source applications. Models trained on these trajectories improve across five out-of-distribution coding and hybrid computer-use benchmarks and more frequently verify their rendered outputs, providing evidence of transfer beyond recreation. For held-out evaluation, we introduce RecreationBench, comprising 250 diverse tasks across domains and platforms. Reference-grounded programmatic and visual assertions cover action-conditioned outcomes at multiple interaction depths; each is validated on the reference and by human reviewers before the suite is frozen for automatic scoring. GPT-6 Astra leads at 58.1% overall, but passes all programmatic tests on just 2.8% of tasks. Agents reproduce static interface structure more reliably than interactions and computed outputs, while generated applications remain smaller and more monolithic than their references. We release the benchmark, environments, and test suites.
• Abstract（参考訳）: コンピュータ利用エージェント(CUA)は、グラフィカルなインタラクションと、コードとコマンドラインによるソフトウェア開発という、2つの異なる線に沿って進歩してきた。 真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。 インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。 レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。実行中の参照を前提として、エージェントはその振る舞いを発見し、所定のワークフローなしで忠実な実装を構築する必要があります。 RecreationWorldはUbuntu、macOS、Windows、Android、Web上で再現可能な環境を提供し、ネイティブGUIコントロールとコーディングツールを統一したハーネスを提供する。 実行中の参照は、隠れた振る舞いテストのオラクルとして機能し、実行ベースで報酬を提供する。 高品質なオープンソースアプリケーションでトラジェクトリ生成をスケールする。 これらの軌道で訓練されたモデルは、5つのアウト・オブ・ディストリビューション・コーディングとハイブリッド・コンピュータ・ユース・ベンチマークで改善され、レンダリングされた出力をより頻繁に検証し、レクリエーションを超えた転送の証拠を提供する。 RecreationBenchは、ドメインやプラットフォームにまたがる250のタスクから構成される。 参照接地型プログラムと視覚的アサーションは、複数の相互作用深度での動作条件付き結果をカバーし、それぞれが基準上で検証され、自動スコアのためのスイートが凍結される前に、人間レビュアーによって検証される。 GPT-6 アストラは全体の58.1%をリードするが、わずか2.8%のタスクで全てのプログラムテストに合格する。 エージェントは対話や計算された出力よりも静的なインターフェイス構造を確実に再現する一方、生成されたアプリケーションは参照よりも小さく、よりモノリシックなままである。 ベンチマーク、環境、テストスイートをリリースします。

関連論文リスト

• WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces [27.11445886768225]
  WeaveBenchは,8つの実世界の作業領域に114のタスクを持つ,長期にわたるハイブリッドインターフェースベンチマークである。 デプロイされたCLIエージェントランタイム内の実際のUbuntuデスクトップ上でこれらのタスクを評価し、最小限のデスクトップコントロールプラグインで拡張します。 フロンティアのモデルと実行時のペアリング全体では、最高のPassRateは41.2%にしか達せず、ベンチマークは飽和状態には程遠い。
  論文  参考訳（メタデータ） (2026-06-08T12:39:23Z)
• You Don't Know Until You Click:Automated GUI Testing for Production-Ready Software Evaluation [24.956175875766952]
  RealDevWorldは、大規模言語モデル(LLM)とソフトウェア開発におけるコードエージェントの評価フレームワークである。 主なコンポーネントは、194のオープンエンドソフトウェアエンジニアリングタスクのコレクションであるRealDevBenchと、新しいエージェント・アズ・ア・ジャッジ評価システムであるAppEvalPilotだ。 実証的な結果は、RealDevWorldが効果的で、自動で、そして、人間に沿った評価を提供することを示している。
  論文  参考訳（メタデータ） (2025-08-17T07:31:11Z)
• ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
  ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。 我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。 我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-07-07T12:53:00Z)
• Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis [57.371814877372515]
  グラフィカルユーザインタフェース(GUI)の基盤は、コンピュータ利用エージェント開発において依然として重要なボトルネックとなっている。 多様なタスクタイプにまたがる564の細かな注釈付きサンプルからなる総合ベンチマークであるOSWorld-Gを紹介する。 我々は、400万のサンプルを含む、最大のコンピュータ利用基盤データセットであるJediを合成してリリースする。
  論文  参考訳（メタデータ） (2025-05-19T15:09:23Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。