論文の概要: Spec2Game: Can LLMs Generate Complete Playable Games from Detailed Specifications?

• arxiv url: http://arxiv.org/abs/2610.04253v1
• Date: Sat, 03 Oct 2026 03:24:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 12:14:24.150566
• Title: Spec2Game: Can LLMs Generate Complete Playable Games from Detailed Specifications?
• Title（参考訳）: Spec2Game: LLMは詳細な仕様から完全なプレイ可能なゲームを生成することができるか?
• Abstract要約: Spec2Gameは、自然言語ゲームの詳細な仕様から完全なPygameプロジェクトを生成するモデルを必要とするベンチマークである。 実行可能性、仕様の実現、コード品質、ユーザ価値の4つの側面で生成されたプロジェクトを評価します。 14のLCMと3,330のプロジェクトを通して、高い実行可能性は仕様の実現を忠実に意味しないことが判明した。
• 参考スコア（独自算出の注目度）: 33.86577011161858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating an executable program does not necessarily mean that it correctly implements the behavioral requirements specified in natural language. To evaluate large language models' ability to realize detailed specifications as complete interactive programs, we introduce Spec2Game, a benchmark that requires models to generate complete Pygame projects from detailed natural-language game specifications. Spec2Game comprises 15 game families and 150 task instances, with one canonical task and nine controlled rule variants per family, spanning three levels of implementation complexity. Using source-code, runtime, and visual evidence, we evaluate generated projects along four dimensions---Executability, Specification Realization, Code Quality, and User-Facing Quality. Across 14 LLMs and 3,330 generated projects, we find that high executability does not imply faithful specification realization. Component-level analysis further shows that models perform substantially better on Game Element Modeling than on Rule and Mechanism Modeling or Goal and Termination Modeling, indicating that faithfully implementing game rules and termination logic remains a major challenge.
• Abstract（参考訳）: 実行可能なプログラムを生成することは、自然言語で指定された振る舞い要求を正しく実装するという意味ではない。 大規模言語モデルの詳細な仕様を完全な対話型プログラムとして実現する能力を評価するため,詳細な自然言語ゲーム仕様から完全なPygameプロジェクトを生成するモデルを必要とするベンチマークであるSpec2Gameを紹介した。 Spec2Gameは15のゲームファミリと150のタスクインスタンスで構成され、1つの標準タスクと9つのコントロールされたルールバリアントがあり、3レベルの実装複雑性にまたがっている。 ソースコード、実行時、視覚的エビデンスを使用して、実行可能性、仕様の実現、コード品質、ユーザ価値の4つの側面で生成されたプロジェクトを評価します。 14のLCMと3,330のプロジェクトを通して、高い実行可能性は仕様の実現を忠実に意味しないことが判明した。 コンポーネントレベルの分析により、ルール・メカニズム・モデリングやゴール・アンド・終了・モデリングよりもゲーム要素・モデリングの方がモデルの方がはるかに優れていることが示され、ゲームルールと終了・ロジックを忠実に実装することが大きな課題であることを示している。

関連論文リスト

• GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? [65.42976417627254]
  ゲーム生成はゲームエンジン内で行われ、スクリプト、シーン、アセット、レンダリング、実行時インタラクションは共同でコヒーレントなゲームプレイを生成する必要がある。 我々は、完全なゲームアーティファクトを生成する問題として、エンド・ツー・エンドのゲーム生成を形式化する。 我々は、このフレームワークを15のゲームファミリーで140のGodotタスクからなるベンチマークであるGameCraft-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-06-16T12:34:39Z)
• GVGAI-LLM: Evaluating Large Language Model Agents with Infinite Games [7.594173359523366]
  GVGAI-LLMは,大規模言語モデル(LLM)の推論と問題解決能力を評価するためのゲームベンチマークである。 General Video Game AIフレームワーク上に構築され、既存のLLMベンチマークとは異なるタスクを処理するモデルの能力をテストするために設計された、アーケードスタイルのゲームの多種多様なコレクションを備えている。
  論文  参考訳（メタデータ） (2025-08-11T22:17:07Z)
• Game-RL: Synthesizing Multimodal Verifiable Game Data to Boost VLMs' General Reasoning [89.93384726755106]
  視覚言語強化学習(RL)は主に狭い領域に焦点を当てている。 ビデオゲームは本質的に、検証が容易なリッチなビジュアル要素とメカニクスを提供します。 ビデオゲームにおけるマルチモーダルかつ検証可能な報酬を完全に活用するために,Game-RLを提案する。
  論文  参考訳（メタデータ） (2025-05-20T03:47:44Z)
• Model as a Game: On Numerical and Spatial Consistency for Generative Games [117.36098212829766]
  本稿では,モデル・アズ・ア・ゲーム(MaaG)のメカニズムを十分に構築した上で,モデル・アズ・ア・ゲーム(MaaG)を真に構成するものを探るため,生成ゲームのパラダイムを再考する。 DiTアーキテクチャに基づいて,(1) LogicNetを統合してイベントトリガを決定する数値モジュール,(2) 探索領域のマップを維持する空間モジュール,(2) 生成中の位置情報を検索して連続性を確保する,という2つの特殊なモジュールを設計する。
  論文  参考訳（メタデータ） (2025-03-27T05:46:15Z)
• SpecGen: Automated Generation of Formal Program Specifications via Large Language Models [20.36964281778921]
  SpecGenは、大規模言語モデルに基づく形式的なプログラム仕様生成のための新しいテクニックである。 SV-COMP 279ベンチマークと手動で構築したデータセットを含む2つのデータセット上でSpecGenを評価する。
  論文  参考訳（メタデータ） (2024-01-16T20:13:50Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。