論文の概要: OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine

• arxiv url: http://arxiv.org/abs/2610.02563v1
• Date: Thu, 01 Oct 2026 22:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.116447
• Title: OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine
• Title（参考訳）: OpenGameEval: ステートフルゲームエンジンにおけるエージェントプログラミングと探索のベンチマーク
• Abstract要約: OpenGameEvalは、Studio内でのエージェントゲーム開発のためのベンチマークである。 各実行は、編集されたシーンとシミュレーションされたプレイセッションの両方で実行可能チェックでスコアされる。 84のコアタスクにおいて,13のフロンティアモデルの通過率と探索行動を測定した。
• 参考スコア（独自算出の注目度）: 5.42366948457573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present OpenGameEval, a benchmark and evaluation framework for agentic game development inside Roblox Studio. It runs language models as agents in reproducible, stateful game-engine sessions and scores each run with executable checks, both on the edited scene and in a simulated play session. Most agentic coding benchmarks require exploration but score only final task success. OpenGameEval separates observation tools from editing tools in its eight-tool action space, so exploration can be measured directly. We measure the pass rates and exploration behavior of 13 frontier models on 84 human-curated core tasks, with 16 attempts per task. The tasks are hard for current models. The best model solves 51.7% of tasks on a single attempt and 39.4% five times out of five, and no tested model solves six of the tasks. Models at the frontier reach similar pass rates by solving different tasks: splitting tasks by the kind of work they require spreads the top five by 5.0pp on script-authoring tasks and 12.5pp on scene-change tasks. Exploration behavior predicts whether a run succeeds. Holding task and model fixed, a run that inspects every object a reference solution touches before acting on it passes 13.4pp more often than a run that inspects none of them on scene-only tasks, and 9.8pp more often on script-only tasks. We release the task suite, its place files, the per-task annotations, a plugin that runs the tasks inside Roblox Studio, and an updated leaderboard under the MIT license at https://github.com/Roblox/open-game-eval.
• Abstract（参考訳）: 本稿では,Roblox Studio内のエージェントゲーム開発のためのベンチマークおよび評価フレームワークであるOpenGameEvalを紹介する。 言語モデルを再現可能なステートフルなゲームエンジンセッションのエージェントとして実行し、編集されたシーンとシミュレーションされたプレイセッションの両方で実行可能チェックでスコアをスコアする。 ほとんどのエージェントコーディングベンチマークは探索を必要とするが、最終的なタスクの成功しか得点しない。 OpenGameEvalは、観察ツールと8toolアクションスペースの編集ツールを分離している。 我々は,84個の人為的コアタスクにおいて,13個のフロンティアモデルの通過率と探索挙動を16回の試行で測定した。 タスクは現在のモデルでは難しいです。 最良のモデルは1回の試行で51.7%、5回中39.4%のタスクを解決し、テストされたモデルでは6つのタスクを解決できない。 異なるタスクを解くことで、フロンティアのモデルは同様のパスレートに達する: 必要となる作業の種類によってタスクを分割することは、スクリプトオーサリングタスクでトップ5から5.0pp、シーン変更タスクで12.5ppである。 探索行動は、ランが成功するかどうかを予測する。 タスクとモデルの固定を保ち、参照ソリューションが触れるすべてのオブジェクトを検査する実行は、シーンのみのタスクでは検査しない実行よりも13.4pp、スクリプトのみのタスクでは9.8ppが頻繁に実行される。 私たちはタスクスイート、その場所ファイル、タスクごとのアノテーション、Roblox Studio内でタスクを実行するプラグイン、MITライセンス下のhttps://github.com/Roblox/open-game-eval.comでリーダボードをアップデートしました。

関連論文リスト

• SWE-Game: Can Coding Agents Build the Games We Want? [24.275357708252926]
  SWE-Game(SWE-Game)は、2Dおよび3Dの13のゲームプレイカテゴリにまたがる41のレファレンス・ゴドットゲームに基礎を置く247のタスクのベンチマークである。 5つのタスクタイプは、ゲーム設計文書からの簡単な実装、スケルトン完成、83のインジェクトされたフォールトケースの修復、Godot-to-Unity移植から開発をカバーしている。
  論文  参考訳（メタデータ） (2026-09-27T15:38:20Z)
• CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine [1.9226023650048942]
  C++ソース、Blueprintアセット、エディタスクリプティングにまたがる70のタスクからなるベンチマークを構築します。 C++タスクのファイル・アンド・シェルベースラインを2つのエディタ・ツール構成で評価する。 C++の完成率は2つのツール構成でBlueprintの30.0と42.9ポイントを超えている。
  論文  参考訳（メタデータ） (2026-09-19T17:18:23Z)
• GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions [37.944046267001745]
  コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。 現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。 我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
  論文  参考訳（メタデータ） (2026-09-18T09:51:41Z)
• VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
  VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。 汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。 モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
  論文  参考訳（メタデータ） (2026-09-17T01:24:51Z)
• GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? [65.42976417627254]
  ゲーム生成はゲームエンジン内で行われ、スクリプト、シーン、アセット、レンダリング、実行時インタラクションは共同でコヒーレントなゲームプレイを生成する必要がある。 我々は、完全なゲームアーティファクトを生成する問題として、エンド・ツー・エンドのゲーム生成を形式化する。 我々は、このフレームワークを15のゲームファミリーで140のGodotタスクからなるベンチマークであるGameCraft-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-06-16T12:34:39Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
  GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。 2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。 18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
  論文  参考訳（メタデータ） (2026-04-08T17:49:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。