論文の概要: GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions

• arxiv url: http://arxiv.org/abs/2609.21562v2
• Date: Mon, 21 Sep 2026 16:56:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.225226
• Title: GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions
• Title（参考訳）: GameLogicBench: Tick-Level State Assertionsを使用した実行時ゲームロジック上でのコーディングエージェントの評価
• Abstract要約: コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。 現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。 我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
• 参考スコア（独自算出の注目度）: 37.944046267001745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents can modify and test code across large software projects. Game development is a domain where agents must implement gameplay rules. A game can end in a valid state even after violating its rules during the run. Current game-development benchmarks replay fixed examples, score videos, or ask another model to judge the result. However, no existing benchmark checks game rules throughout execution across varied evaluator-selected scenarios while ensuring exactly reproducible verdicts. We introduce GameLogicBench, a benchmark of 72 gameplay-logic tasks in Godot projects. An automated evaluator checks each game's rules at every simulation tick. Across 403 hand-designed scenarios, seeded parameter variations produce 1,451 test cases. To ensure that the evaluator measures behavior rather than implementation choice, it must accept different correct implementations for each task while rejecting mutants, implementations with one required capability removed. The tasks span isolated mechanics, multi-system interactions, and repository-scale features. Across 20 combinations of language models and scaffolds, the best observed run solves 52.78% of tasks. Under Claude Code, all twelve models solve fewer tasks as task scope expands from isolated mechanics, through interacting systems, to repository-scale features. Agents inspect code more often and make more tool calls on repository-scale tasks than on isolated-mechanic tasks. Most unsuccessful submissions are runnable, but implement some required game behavior incorrectly. We compared versions of our benchmark evaluator built with and without validation using mutants. Without this validation, incorrect agent submissions passed. A separate analysis finds agents copying code from public repositories when network access is open. Reliable evaluation thus depends both on what the tests reject and on what external code agents can access.
• Abstract（参考訳）: コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。 ゲーム開発は、エージェントがゲームプレイルールを実装しなければならない領域である。 ゲームは、実行中にルールに違反した後でも有効な状態に終わる。 現在のゲーム開発ベンチマークでは、固定された例をリプレイしたり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。 しかしながら、既存のベンチマークでは、様々な評価対象選択シナリオをまたいだ実行を通じてゲームルールをチェックすることはなく、正確な再現可能なバリデーションを保証する。 我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。 自動評価器は、各シミュレーションティッチで各ゲームのルールをチェックする。 403のハンドデザインシナリオで、シードパラメータのバリエーションは1,451のテストケースを生成する。 評価者が実装の選択よりも行動を測定するようにするためには、各タスクに対して異なる正しい実装を受け入れながらミュータントを拒絶する必要がある。 タスクは、分離されたメカニック、マルチシステムインタラクション、リポジトリスケール機能にまたがる。 20の言語モデルと足場の組み合わせで、最もよく観察される実行は52.78%のタスクを解決している。 Claude Codeの下では、タスクスコープが分離されたメカニクスから相互作用するシステム、リポジトリスケールの機能まで拡張されるため、12モデルすべてがタスクを減らします。 エージェントは、分離されたメカニックタスクよりも、より頻繁にコードを検査し、リポジトリスケールのタスクに対してより多くのツールコールを行う。 ほとんどの失敗は実行可能であるが、必要なゲーム動作を誤って実装する。 ミュータントを使った検証と検証なしで構築したベンチマーク評価器のバージョンを比較した。 この検証がなければ、不正なエージェントの提出が通過する。 別の分析では、ネットワークアクセスがオープンになったときに、公開リポジトリからコードをコピーするエージェントが見つかる。 したがって、信頼性の高い評価は、テストが拒否するものと、外部のコードエージェントがアクセス可能なものの両方に依存する。

関連論文リスト

• GameXpert-Bench: How Far Are Coding Agents from Expert Game Development? [6.806647989372878]
  最近の大規模言語モデル(LLM)は、自然言語要求から完全なゲームを構築するコーディングエージェントとして動作する。 ゲーム開発は、プログラムロジック、ビジュアルおよびオーディオコンテンツ、インタフェース、インタラクション、プレイ容易性が一つの実行可能アーティファクトで一緒に機能する必要があるため、特に要求がある。 完全な人間エージェント開発軌跡の分析では,コーディングエージェントを用いてゲーム開発のライフサイクルにまたがる3つの段階を同定する。
  論文  参考訳（メタデータ） (2026-08-22T08:05:16Z)
• One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows [2.281697288703173]
  Thinkingboxはツールエージェントとユーザインタラクションのためのサンドボックスだ。 独立したMPP互換ツールセッション、完全な実行トレース、端末バックエンドに対する結果評価を提供する。 Thinkingboxbenchには、さまざまなシナリオにわたる507のベンチマークとステートコンディションベンチマークが含まれている。
  論文  参考訳（メタデータ） (2026-08-20T07:37:57Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
  GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。 2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。 18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
  論文  参考訳（メタデータ） (2026-04-08T17:49:03Z)
• Cooperative Multi-agent Approach for Automated Computer Game Testing [1.4931265249949526]
  近年、多くのゲームがマルチプレイヤーであり、このようなゲームをテストするために複数の協調テストエージェントをデプロイする興味深い可能性を秘めている。 本稿では,ラボ・リクルート(Lab Recruits)と呼ばれる3Dゲームにおけるケーススタディに基づく,協調型マルチエージェント・テスト手法とその性能に関する研究について述べる。
  論文  参考訳（メタデータ） (2024-05-18T17:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。