論文の概要: A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications?
- arxiv url: http://arxiv.org/abs/2609.39564v1
- Date: Wed, 30 Sep 2026 12:00:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.636361
- Title: A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications?
- Title（参考訳）: A2Z GameSpec-Bench: コーディングエージェントはゲームデザイン仕様からゲームを生成することができるのか?
- Abstract要約: A2Z GameSpec-Bench(A2Z GameSpec-Bench)は、エージェントによるエンドツーエンドゲーム開発を評価するための100の長文ゲームデザインドキュメント(GDD)のベンチマークである。
我々は,ゲームがGDD要件を満たしているかどうかを確認し,それらの関係性を維持することによって忠実度を測定する。
- 参考スコア（独自算出の注目度）: 15.258791962187194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Delegating complete application development to coding agents requires preserving the intended design rather than simply producing plausible outputs through naive prompting. Game development provides a demanding testbed, as long-form Game Design Documents (GDDs) describe requirements that must work together across game logic, visual rendering, and player interactions. However, existing game-development benchmarks typically use compact specifications and provide limited support for evaluating interdependent requirements across these aspects in long-form GDDs. We introduce A2Z GameSpec-Bench, a benchmark of 100 long-form GDDs for evaluating end-to-end game development by agents. We measure faithfulness by checking whether the game satisfies the GDD requirements and preserves the relationships among them. Each GDD is turned into a dependency-aware contract that contains rules, constraints, and prerequisite relations. Following game-development practices, we combine source-code inspection with agent-generated test policies for scenario-based replay and adaptive playtesting. The contract remains fixed across agents and revision rounds, while judgments and evidence linked to the same requirements support consistent comparison and failure detection. Our evaluations show that current agents struggle to jointly satisfy interdependent requirements across code implementation and actual play. Requirement-specific feedback improves GDD Fidelity by 10.9% relative to self-revision after two rounds. A2Z GameSpec-Bench assesses end-to-end specification-following ability beyond implementation judgments and provides targeted feedback to support more faithful game development. Code and datasets are available at https://a2z-gamespec-bench.github.io.
- Abstract（参考訳）: 完全なアプリケーション開発をコーディングエージェントに委譲するには、単純な素直なプロンプトによるプラプティブルなアウトプットを生成するのではなく、意図した設計を保存する必要がある。
ゲーム開発は、ゲームロジック、ビジュアルレンダリング、プレイヤのインタラクションで一緒に動作しなければならない要件を、GDD(Long-form Game Design Documents)が記述しているように、要求の多いテストベッドを提供する。
しかし、既存のゲーム開発ベンチマークでは、通常、コンパクトな仕様を使用し、長期のGDDにおいてこれらの側面にわたる相互依存要求を評価するための限定的なサポートを提供する。
A2Z GameSpec-Benchはエージェントによるエンド・ツー・エンドのゲーム開発を評価するための100の長大なGDDのベンチマークである。
我々は,ゲームがGDD要件を満たしているかどうかを確認し,それらの関係性を維持することによって忠実度を測定する。
各GDDは、ルール、制約、前提条件関係を含む依存性対応契約に変換される。
ゲーム開発に続き、シナリオベースのリプレイと適応型プレイテストのためのソースコード検査とエージェント生成テストポリシーを組み合わせる。
契約は、エージェントとリビジョンラウンドで固定され、同じ要件に関連する判断と証拠は、一貫した比較と失敗検出をサポートする。
評価の結果,既存のエージェントは,コード実装と実演の相互依存要件を共同で満たすのに苦労していることがわかった。
要求特異的フィードバックは、2ラウンド後の自己修正と比較してGDDフィデリティを10.9%改善する。
A2Z GameSpec-Benchは、実装判断を超えたエンドツーエンドの仕様フォロー機能を評価し、より忠実なゲーム開発をサポートするための目標フィードバックを提供する。
コードとデータセットはhttps://a2z-gamespec-bench.github.ioで公開されている。
関連論文リスト
- RSIGame: Autonomous Agentic Game Development with Recursive Self-improvement [47.08383845381285]
RSIGameは自律型エージェントゲーム開発フレームワークである。
開発を補完的なローカルループとグローバルループに編成する。
開発予算の整合でゲーム品質を継続的に改善する。
論文 参考訳（メタデータ） (2026-09-30T05:54:34Z) - GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions [37.944046267001745]
コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。
現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。
我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
論文 参考訳（メタデータ） (2026-09-18T09:51:41Z) - GameXpert-Bench: How Far Are Coding Agents from Expert Game Development? [6.806647989372878]
最近の大規模言語モデル(LLM)は、自然言語要求から完全なゲームを構築するコーディングエージェントとして動作する。
ゲーム開発は、プログラムロジック、ビジュアルおよびオーディオコンテンツ、インタフェース、インタラクション、プレイ容易性が一つの実行可能アーティファクトで一緒に機能する必要があるため、特に要求がある。
完全な人間エージェント開発軌跡の分析では,コーディングエージェントを用いてゲーム開発のライフサイクルにまたがる3つの段階を同定する。
論文 参考訳（メタデータ） (2026-08-22T08:05:16Z) - GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? [65.42976417627254]
ゲーム生成はゲームエンジン内で行われ、スクリプト、シーン、アセット、レンダリング、実行時インタラクションは共同でコヒーレントなゲームプレイを生成する必要がある。
我々は、完全なゲームアーティファクトを生成する問題として、エンド・ツー・エンドのゲーム生成を形式化する。
我々は、このフレームワークを15のゲームファミリーで140のGodotタスクからなるベンチマークであるGameCraft-Benchとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-06-16T12:34:39Z) - GameGen-Verifier: Parallel Keypoint-Based Verification for LLM-Generated Games via Runtime State Injection [5.552431662875654]
GameGen-Verifierは、仕様を検証可能なキーポイントに分解し、それらを独立した検証ユニットに分類する。
VeriGameでは、7つのジャンルにまたがる100のゲームのデータセットであるGameGen-Verifierが、人間の判断に対して最大92.2%の精度を達成した。
論文 参考訳（メタデータ） (2026-05-08T08:46:59Z) - GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳（メタデータ） (2026-04-08T17:49:03Z) - Synergizing Code Coverage and Gameplay Intent: Coverage-Aware Game Playtesting with LLM-Guided Reinforcement Learning [4.3706127838450035]
ゲーム・アズ・ア・サービス(Games as a Service)モデルは頻繁なコンテンツ更新を必要とする。
コード中心の手法は、ゲームプレイコンテキストを理解せずに構造的カバレッジに焦点を当てる。
ゲーム更新テストのための構造検証と機能検証を相乗化する新しいフレームワークSMARTを提案する。
論文 参考訳（メタデータ） (2025-12-14T14:18:18Z) - Game-RL: Synthesizing Multimodal Verifiable Game Data to Boost VLMs' General Reasoning [89.93384726755106]
視覚言語強化学習(RL)は主に狭い領域に焦点を当てている。
ビデオゲームは本質的に、検証が容易なリッチなビジュアル要素とメカニクスを提供します。
ビデオゲームにおけるマルチモーダルかつ検証可能な報酬を完全に活用するために,Game-RLを提案する。
論文 参考訳（メタデータ） (2025-05-20T03:47:44Z) - Model as a Game: On Numerical and Spatial Consistency for Generative Games [117.36098212829766]
本稿では,モデル・アズ・ア・ゲーム(MaaG)のメカニズムを十分に構築した上で,モデル・アズ・ア・ゲーム(MaaG)を真に構成するものを探るため,生成ゲームのパラダイムを再考する。
DiTアーキテクチャに基づいて,(1) LogicNetを統合してイベントトリガを決定する数値モジュール,(2) 探索領域のマップを維持する空間モジュール,(2) 生成中の位置情報を検索して連続性を確保する,という2つの特殊なモジュールを設計する。
論文 参考訳（メタデータ） (2025-03-27T05:46:15Z) - Deep Policy Networks for NPC Behaviors that Adapt to Changing Design
Parameters in Roguelike Games [137.86426963572214]
例えばRoguelikesのようなターンベースの戦略ゲームは、Deep Reinforcement Learning(DRL)にユニークな課題を提示する。
複雑なカテゴリ状態空間をより適切に処理し、設計決定によって強制的に再訓練する必要性を緩和する2つのネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-12-07T08:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。