論文の概要: GameXpert-Bench: How Far Are Coding Agents from Expert Game Development?
- arxiv url: http://arxiv.org/abs/2608.21833v1
- Date: Sat, 22 Aug 2026 08:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.484457
- Title: GameXpert-Bench: How Far Are Coding Agents from Expert Game Development?
- Title（参考訳）: GameXpert-Bench: エキスパートゲーム開発におけるコーディングエージェントはどこまであるのか?
- Abstract要約: 最近の大規模言語モデル(LLM)は、自然言語要求から完全なゲームを構築するコーディングエージェントとして動作する。
ゲーム開発は、プログラムロジック、ビジュアルおよびオーディオコンテンツ、インタフェース、インタラクション、プレイ容易性が一つの実行可能アーティファクトで一緒に機能する必要があるため、特に要求がある。
完全な人間エージェント開発軌跡の分析では,コーディングエージェントを用いてゲーム開発のライフサイクルにまたがる3つの段階を同定する。
- 参考スコア（独自算出の注目度）: 6.806647989372878
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent large language models (LLMs) can operate as coding agents that build complete games from natural language requests. Game development is especially demanding because program logic, visual and audio content, interfaces, interaction and playability must function together in one executable artifact. Measuring this capability therefore requires evaluation of both game product and the development process. Existing benchmarks often assess the game development capabilities of LLMs by evaluating the final artifact or an isolated development stage. Our analysis of complete human-agent development trajectories identifies three stages that together span the lifecycle of game development with a coding agent: initial game generation, bug diagnosis and repair, and optimization over multiple turns. Therefore, we introduce GameXpert-Bench, which operationalizes the three lifecycle stages as three complementary benchmark tracks. GameGen evaluates complete game creation from a single request in an empty workspace. GameFix evaluates diagnosis and repair when defects are reported or left for the agent to discover. GameOpt evaluates cumulative optimization through request chains seeded by real development trajectories between users and agents. We evaluate each track using live game interaction, deterministic behavioral tests, or final product criteria with regression checks. The suite contains 97 generation tasks across 11 genres; 100 repair tasks from 50 game levels verified by humans, each with 19-27 injected bugs; and 17 optimization chains with six turns and 102 requests. Across the three tracks, current agents are more reliable at producing playable foundations and implementing explicit requirements than at discovering defects, verifying runtime behavior, and preserving functionality across changes.
- Abstract（参考訳）: 最近の大規模言語モデル(LLM)は、自然言語要求から完全なゲームを構築するコーディングエージェントとして動作する。
ゲーム開発は、プログラムロジック、ビジュアルおよびオーディオコンテンツ、インタフェース、インタラクション、プレイ容易性が一つの実行可能アーティファクトで一緒に機能する必要があるため、特に要求がある。
したがって、この能力を測定するには、ゲーム製品と開発プロセスの両方を評価する必要がある。
既存のベンチマークでは、最終アーティファクトや独立した開発段階を評価することで、LLMのゲーム開発能力を評価することが多い。
完全ヒトエージェント開発軌跡の解析では,初期ゲーム生成,バグ診断,修復,複数回にわたる最適化という,ゲーム開発のライフサイクルにまたがる3つの段階を同定した。
そこで,3つのライフサイクルステージを3つの相補的なベンチマークトラックとして運用するGameXpert-Benchを紹介した。
GameGenは空のワークスペース内の単一のリクエストから完全なゲーム生成を評価する。
GameFixは、欠陥が報告されたり、エージェントが発見するために残されているときに、診断と修復を評価する。
GameOptは、ユーザとエージェント間の実際の開発軌跡によってシードされたリクエストチェーンによる累積最適化を評価する。
実戦間相互作用、決定論的行動テスト、回帰チェックによる最終製品基準を用いて各トラックを評価する。
このスイートには、11のジャンルにわたる97生成タスク、人間によって検証された50のゲームレベルから100の修理タスク、それぞれ19～27のインジェクトバグ、そして6つのターンと102のリクエストを持つ17の最適化チェーンが含まれている。
3つのトラックにわたって、現在のエージェントは、欠陥の検出、実行時の振る舞いの検証、変更間の機能の保存よりも、プレイ可能な基盤の作成と明示的な要件の実装に信頼性がある。
関連論文リスト
- GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments [1.392548092257887]
提案するGameEngineBenchは,Unreal Engine 5プロジェクト内でのスコープ付きC++実装タスクにおけるコーディングエージェントの評価を行うベンチマークである。
評価セットは、ゲームプレイの仕組み、マルチプレイヤー動作、AIと世界オーケストレーション、アニメーションとムーブメント、UIとセッションコード、ロード動作、オンラインサービス統合、永続性、データシリアライゼーション、XR動作、レンダリング指向プラグインを対象とする110のタスクで構成されている。
論文 参考訳（メタデータ） (2026-07-03T17:56:26Z) - GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? [65.42976417627254]
ゲーム生成はゲームエンジン内で行われ、スクリプト、シーン、アセット、レンダリング、実行時インタラクションは共同でコヒーレントなゲームプレイを生成する必要がある。
我々は、完全なゲームアーティファクトを生成する問題として、エンド・ツー・エンドのゲーム生成を形式化する。
我々は、このフレームワークを15のゲームファミリーで140のGodotタスクからなるベンチマークであるGameCraft-Benchとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-06-16T12:34:39Z) - GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳（メタデータ） (2026-04-08T17:49:03Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers [1.6086198362375759]
我々は,大規模言語モデルがソフトウェアバグを自律的に検出できるかどうかを評価するために,ゲーム品質保証ベンチマーク(GBQA)を導入する。
このベンチマークは、ゲームを開発し、スケーラブルな方法でバグを注入するマルチエージェントシステムを使用して構築されている。
実験では、最良のパフォーマンスモデルであるClaude-4.6-Opusが、検証されたバグの48.39%しか特定していない。
論文 参考訳（メタデータ） (2026-04-03T02:23:50Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - GameDevBench: Evaluating Agentic Capabilities Through Game Development [49.19956546746812]
ゲーム開発は、エージェントが本質的にマルチモーダル資産を操作しながら大きな密集物をナビゲートしなければならないようなテストベッドを提供する。
本稿では,ゲーム開発タスクにおけるエージェント評価のための最初のベンチマークであるGameDevBenchを紹介する。
エージェントは依然としてゲーム開発に苦戦しており、最高のエージェントは54.5%のタスクしか解決していない。
論文 参考訳（メタデータ） (2026-02-11T18:15:11Z) - FlashAdventure: A Benchmark for GUI Agents Solving Full Story Arcs in Diverse Adventure Games [56.81554611870848]
我々はFlashAdventureを紹介した。これは、フルストーリーのアーク補完をテストするために設計された、34のFlashベースのアドベンチャーゲームのベンチマークである。
また,ゲームプレイの自動評価装置であるCUA-as-a-Judgeと,長期記憶を利用したエージェントフレームワークであるCOASTを提案する。
実験では、現在のGUIエージェントがフルストーリーのアークに苦しむのに対して、COASTは観察と振る舞いのギャップを埋めることでマイルストーンの完了を改善する。
論文 参考訳（メタデータ） (2025-09-01T01:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。