論文の概要: GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
- arxiv url: http://arxiv.org/abs/2607.03525v1
- Date: Fri, 03 Jul 2026 17:56:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.640875
- Title: GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
- Title（参考訳）: GameEngineBench: 実際のC++実行環境におけるコーディングエージェントの評価
- Abstract要約: 提案するGameEngineBenchは,Unreal Engine 5プロジェクト内でのスコープ付きC++実装タスクにおけるコーディングエージェントの評価を行うベンチマークである。
評価セットは、ゲームプレイの仕組み、マルチプレイヤー動作、AIと世界オーケストレーション、アニメーションとムーブメント、UIとセッションコード、ロード動作、オンラインサービス統合、永続性、データシリアライゼーション、XR動作、レンダリング指向プラグインを対象とする110のタスクで構成されている。
- 参考スコア（独自算出の注目度）: 1.392548092257887
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Game engines provide real-time simulation, rendering, physics, interaction, networking, and asset pipelines, making them valuable not only for games but also for 3D applications in healthcare, robotics, architecture, manufacturing, and related domains. Because game development is where these systems are most mature and publicly available, it offers a practical testbed for evaluating coding agents that must modify C++ code within stateful, interactive, real-time systems. We present GameEngineBench, a benchmark for evaluating coding agents on scoped C++ implementation tasks inside Unreal Engine 5 projects, built from nine real-world game repositories. The evaluation set consists of 110 tasks spanning gameplay mechanics, multiplayer behavior, AI and world orchestration, animation and movement, UI and session code, loading behavior, online-service integration, persistence, data serialization, XR behavior, and rendering-oriented plugins. These tasks require models to make native C++ changes that compile and satisfy behavioral tests within executable Unreal Engine projects. Across twelve evaluated configurations, the strongest model reaches 55.5\% pass@1, while 31 tasks remain unsolved by every configuration. Our results demonstrate that frontier coding agents continue to struggle with deeply integrated C++ development for real-time interactive software, highlighting game-engine benchmarks as a valuable complement to existing software engineering evaluations.
- Abstract（参考訳）: ゲームエンジンはリアルタイムシミュレーション、レンダリング、物理、インタラクション、ネットワーキング、アセットパイプラインを提供し、ゲームだけでなく、医療、ロボティクス、建築、製造、関連するドメインの3Dアプリケーションにも有用である。
ゲーム開発は、これらのシステムが最も成熟して公開されており、ステートフルでインタラクティブなリアルタイムシステム内でC++コードを変更する必要があるコーディングエージェントを評価するための実践的なテストベッドを提供する。
実世界の9つのゲームリポジトリから構築されたUnreal Engine 5プロジェクト内でのC++実装タスクのコーディングエージェントを評価するためのベンチマークであるGameEngineBenchを紹介する。
評価セットは、ゲームプレイの仕組み、マルチプレイヤー動作、AIと世界オーケストレーション、アニメーションとムーブメント、UIとセッションコード、ロード動作、オンラインサービス統合、永続性、データシリアライゼーション、XR動作、レンダリング指向プラグインを対象とする110のタスクで構成されている。
これらのタスクは、実行可能Unreal Engineプロジェクト内での振る舞いテストのコンパイルと満足をネイティブC++で行うためのモデルを必要とする。
12の評価された構成で、最強のモデルは55.5\% pass@1に到達し、一方31のタスクはすべての構成で未解決のままである。
この結果から,フロンティアコーディングエージェントは,リアルタイム対話型ソフトウェアにおいて,C++開発を深く統合し,既存のソフトウェアエンジニアリング評価を補完する上で,ゲームエンジンベンチマークが有用であることが示唆された。
関連論文リスト
- AI for Games in the Foundation Model Era [36.41163570360799]
ファンデーションモデルは、学習されたゲームワールドモデルの進歩とともに、ゲームライフサイクル全体にわたってAIを再構築している。
AI出力の即時使用に応じて、文献を6つの役割に分類する。
各ロールについて、ゲームやワークフローによって提供される構造、AIが学習または生成する構造、機能とアーティファクトが設定や役割間で伝達される機能、そしてクレームをサポートするエビデンスについて調べる。
論文 参考訳（メタデータ） (2026-09-15T06:00:47Z) - GameXpert-Bench: How Far Are Coding Agents from Expert Game Development? [6.806647989372878]
最近の大規模言語モデル(LLM)は、自然言語要求から完全なゲームを構築するコーディングエージェントとして動作する。
ゲーム開発は、プログラムロジック、ビジュアルおよびオーディオコンテンツ、インタフェース、インタラクション、プレイ容易性が一つの実行可能アーティファクトで一緒に機能する必要があるため、特に要求がある。
完全な人間エージェント開発軌跡の分析では,コーディングエージェントを用いてゲーム開発のライフサイクルにまたがる3つの段階を同定する。
論文 参考訳（メタデータ） (2026-08-22T08:05:16Z) - GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? [65.42976417627254]
ゲーム生成はゲームエンジン内で行われ、スクリプト、シーン、アセット、レンダリング、実行時インタラクションは共同でコヒーレントなゲームプレイを生成する必要がある。
我々は、完全なゲームアーティファクトを生成する問題として、エンド・ツー・エンドのゲーム生成を形式化する。
我々は、このフレームワークを15のゲームファミリーで140のGodotタスクからなるベンチマークであるGameCraft-Benchとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-06-16T12:34:39Z) - SceneCode: Executable World Programs for Editable Indoor Scenes with Articulated Objects [69.20984454755512]
室内シーンの合成は、AI、ロボット操作、シミュレーションベースのポリシー評価を具体化する。
既存のパイプラインは、生成されたコンテンツを静的メッシュとして表現し、キュレートされたアセットライブラリからのみ調音を継承する。
我々は、自然言語プロンプトを実行可能なコード駆動屋内世界にコンパイルするフレームワークであるSceneCodeを紹介する。
論文 参考訳（メタデータ） (2026-05-19T09:31:04Z) - GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳（メタデータ） (2026-04-08T17:49:03Z) - GameDevBench: Evaluating Agentic Capabilities Through Game Development [49.19956546746812]
ゲーム開発は、エージェントが本質的にマルチモーダル資産を操作しながら大きな密集物をナビゲートしなければならないようなテストベッドを提供する。
本稿では,ゲーム開発タスクにおけるエージェント評価のための最初のベンチマークであるGameDevBenchを紹介する。
エージェントは依然としてゲーム開発に苦戦しており、最高のエージェントは54.5%のタスクしか解決していない。
論文 参考訳（メタデータ） (2026-02-11T18:15:11Z) - Seed3D 1.0: From Images to High-Fidelity Simulation-Ready 3D Assets [63.67760219308476]
シミュレーション可能な3Dアセットを単一画像から生成する基礎モデルであるSeed3D 1.0を提案する。
既存の3D生成モデルとは異なり、我々のシステムは正確な幾何学、よく整合したテクスチャ、リアルな物理的基盤を持つ資産を生産する。
論文 参考訳（メタデータ） (2025-10-22T18:16:32Z) - 90% Faster, 100% Code-Free: MLLM-Driven Zero-Code 3D Game Development [35.877919141619614]
本稿では,ランナブルな3Dゲームのゼロコード開発を自然言語要求から自動化する,初のエンドツーエンド協調型マルチエージェントフレームワークUniGenを紹介する。
結果として、UniGenはユーザーからのコーディングを必要とせず、開発時間を91.4%削減することでゲーム作成を民主化している。
論文 参考訳（メタデータ） (2025-09-30T12:14:56Z) - SyDRA: An Approach to Understand Game Engine Architecture [2.5491998280343555]
本稿では,ゲームエンジンアーキテクチャの理解を支援するために,サブシステム依存回復アプローチ(SyDRA)を提案する。
SyDRAはゲームエンジン開発者がゲームエンジンアーキテクチャを理解し、ゲームエンジンの開発に情報を与えるのに役立つ。
我々は,SyDRAにより,設計上の理解や影響分析に関連するタスクを,これらのモデルなしでより少ない時間で,高精度に完了させることができることを示す。
論文 参考訳（メタデータ） (2024-06-08T14:40:29Z) - Which architecture should be implemented to manage data from the real
world, in an Unreal Engine 5 simulator and in the context of mixed reality? [0.0]
本稿では, 理論的, 運用的両面において, この問題の詳細な分析を行う。
C++システムは詳細とサードパーティのライブラリでレビューされている。
最後の章では、大規模産業用3Dアプリケーションに有用な汎用アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-05-16T07:51:54Z) - Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。
ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
論文 参考訳（メタデータ） (2020-05-25T14:10:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。