論文の概要: SWE-Game: Can Coding Agents Build the Games We Want?
- arxiv url: http://arxiv.org/abs/2609.33678v1
- Date: Sun, 27 Sep 2026 15:38:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 17:46:05.091552
- Title: SWE-Game: Can Coding Agents Build the Games We Want?
- Title（参考訳）: SWE-Game: コーディングエージェントは私たちが望むゲームを作ることができるか?
- Abstract要約: SWE-Game(SWE-Game)は、2Dおよび3Dの13のゲームプレイカテゴリにまたがる41のレファレンス・ゴドットゲームに基礎を置く247のタスクのベンチマークである。
5つのタスクタイプは、ゲーム設計文書からの簡単な実装、スケルトン完成、83のインジェクトされたフォールトケースの修復、Godot-to-Unity移植から開発をカバーしている。
- 参考スコア（独自算出の注目度）: 24.275357708252926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce SWE-Game, a benchmark of 247 tasks grounded in 41 executable reference Godot games spanning 13 gameplay categories in 2D and 3D. Five task types cover development from a brief, implementation from a game design document, skeleton completion, repair of 83 injected-fault cases, and Godot-to-Unity porting. Reference materials specify the intended gameplay, while a shared instrumentation interface lets evaluator-owned drivers and probes execute actions and observe independently implemented games. Evaluation combines engine-state checks, certified reference-input replay, and agent-authored feature demonstrations to assess mechanic correctness, demonstrated playability, and behavioral restoration and preservation after repairs. Game-specific vision-language rubrics separately assess presentation. Across six models, Opus5 achieves the highest overall score in all five task types. Best overall scores remain below 60 out of 100 across the three construction tasks, with Brief-to-Game reaching 50.38. Analysis of reviewed submissions identifies requirement omissions and gameplay logic errors as predominant implementation problems. On human-labeled behaviors from 100 agent-built games, executable checks achieve 92.59% balanced accuracy, compared with 78.41% for a video-based VLM judge. Rubric-based visual scores reach a Spearman correlation of 0.829 with human ratings of 200 gameplay clips. Together, these results characterize current agent capabilities across game-development activities and support combining runtime evidence with visual assessment.
- Abstract（参考訳）: SWE-Game(SWE-Game)は、2Dおよび3Dの13のゲームプレイカテゴリにまたがる41のレファレンスゲームに基礎を置く247のタスクのベンチマークである。
5つのタスクタイプは、ゲーム設計文書からの簡単な実装、スケルトン完成、83のインジェクトされたフォールトケースの修復、Godot-to-Unity移植から開発をカバーしている。
リファレンス資料は意図したゲームプレイを規定し、共有機器インタフェースは、評価者が所有するドライバーとプローブがアクションを実行し、独立して実装されたゲームを観察することを可能にする。
評価は、エンジン状態チェック、認証された参照入力リプレイ、エージェントが承認した機能デモを組み合わせて、メカニックの正確性、プレイ可能性の証明、修理後の行動回復と保存を評価する。
ゲーム固有の視覚言語ルーブリックは、プレゼンテーションを別々に評価する。
6つのモデルにまたがって、Opus5は5つのタスクタイプで最高スコアを獲得している。
総合得点は3つの建設作業で100点中60点以下であり、ブリーフ・トゥ・ゲームは50.38点に達した。
レビューされた提案の分析は、要件の欠落とゲームプレイロジックのエラーを主要な実装問題として認識する。
100人のエージェントが制作したゲームの人間ラベルによる動作では、ビデオベースのVLM審査員は78.41%に対して、実行可能チェックは92.59%のバランスの取れた精度を達成した。
ルーブリックベースの視覚スコアは、Spearmanの0.829と人間の評価200のゲームプレイクリップとの相関に達する。
これらの結果は,ゲーム開発活動における現在のエージェント機能の特徴と,実行時エビデンスと視覚的アセスメントの併用を支援するものである。
関連論文リスト
- GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions [37.944046267001745]
コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。
現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。
我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
論文 参考訳（メタデータ） (2026-09-18T09:51:41Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳（メタデータ） (2026-09-17T01:24:51Z) - GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents [13.760274604178049]
エンド・ツー・エンドのブラックボックスゲームレプリケーションのためのクローズドループ評価フレームワークであるGameReplicaを提案する。
GameReplicaは5つのコアメカニズムファミリーで25のゲームにまたがる125のタスクで構成され、各ゲームは5つの難易度でインスタンス化される。
実験によると、現在のコーディングエージェントは、エンドツーエンドのブラックボックスレプリケーションにおいて大きな課題に直面している。
論文 参考訳（メタデータ） (2026-09-15T03:07:41Z) - GameXpert-Bench: How Far Are Coding Agents from Expert Game Development? [6.806647989372878]
最近の大規模言語モデル(LLM)は、自然言語要求から完全なゲームを構築するコーディングエージェントとして動作する。
ゲーム開発は、プログラムロジック、ビジュアルおよびオーディオコンテンツ、インタフェース、インタラクション、プレイ容易性が一つの実行可能アーティファクトで一緒に機能する必要があるため、特に要求がある。
完全な人間エージェント開発軌跡の分析では,コーディングエージェントを用いてゲーム開発のライフサイクルにまたがる3つの段階を同定する。
論文 参考訳（メタデータ） (2026-08-22T08:05:16Z) - GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? [65.42976417627254]
ゲーム生成はゲームエンジン内で行われ、スクリプト、シーン、アセット、レンダリング、実行時インタラクションは共同でコヒーレントなゲームプレイを生成する必要がある。
我々は、完全なゲームアーティファクトを生成する問題として、エンド・ツー・エンドのゲーム生成を形式化する。
我々は、このフレームワークを15のゲームファミリーで140のGodotタスクからなるベンチマークであるGameCraft-Benchとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-06-16T12:34:39Z) - GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳（メタデータ） (2026-04-08T17:49:03Z) - GameDevBench: Evaluating Agentic Capabilities Through Game Development [49.19956546746812]
ゲーム開発は、エージェントが本質的にマルチモーダル資産を操作しながら大きな密集物をナビゲートしなければならないようなテストベッドを提供する。
本稿では,ゲーム開発タスクにおけるエージェント評価のための最初のベンチマークであるGameDevBenchを紹介する。
エージェントは依然としてゲーム開発に苦戦しており、最高のエージェントは54.5%のタスクしか解決していない。
論文 参考訳（メタデータ） (2026-02-11T18:15:11Z) - NitroGen: An Open Foundation Model for Generalist Gaming Agents [101.41866522979548]
NitroGenは、ジェネラリストゲームエージェントのためのビジョンアクション基盤モデルである。
1000以上のゲームで4万時間のゲームプレイビデオでトレーニングされている。
論文 参考訳（メタデータ） (2026-01-04T16:24:50Z) - FlashAdventure: A Benchmark for GUI Agents Solving Full Story Arcs in Diverse Adventure Games [56.81554611870848]
我々はFlashAdventureを紹介した。これは、フルストーリーのアーク補完をテストするために設計された、34のFlashベースのアドベンチャーゲームのベンチマークである。
また,ゲームプレイの自動評価装置であるCUA-as-a-Judgeと,長期記憶を利用したエージェントフレームワークであるCOASTを提案する。
実験では、現在のGUIエージェントがフルストーリーのアークに苦しむのに対して、COASTは観察と振る舞いのギャップを埋めることでマイルストーンの完了を改善する。
論文 参考訳（メタデータ） (2025-09-01T01:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。