論文の概要: CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine

• arxiv url: http://arxiv.org/abs/2609.23142v1
• Date: Sat, 19 Sep 2026 17:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.924425
• Title: CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine
• Title（参考訳）: CraftBench-UE:非現実エンジンにおける符号化エージェントの決定論的評価
• Abstract要約: C++ソース、Blueprintアセット、エディタスクリプティングにまたがる70のタスクからなるベンチマークを構築します。 C++タスクのファイル・アンド・シェルベースラインを2つのエディタ・ツール構成で評価する。 C++の完成率は2つのツール構成でBlueprintの30.0と42.9ポイントを超えている。
• 参考スコア（独自算出の注目度）: 1.9226023650048942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building gameplay features in a game engine requires more than code, as code that compiles and runs does not necessarily implement the requested gameplay. We introduce CraftBenchUE, an evaluation harness that runs agents in an isolated Unreal Engine environment, reconstructs their saved submissions in fresh projects, and applies deterministic build, asset, and runtime checks without an LLM judge. Based on the harness, we built a benchmark consisting of 70 tasks spanning C++ source, Blueprint assets, and editor scripting. We evaluate seven models under two editor-tool configurations, with a file-and-shell baseline on C++ tasks. We further pair tasks that specify the same gameplay and use the same runtime tests, but require C++ and Blueprint as the deliverables. Across the 10 paired tasks, C++ completion rates exceed Blueprint by 30.0 and 42.9 percentage points in the two tool configurations. Among on-time Blueprint submissions in this paired set that pass asset checks, 42.2% and 50.0% fail explicit runtime assertions. These submissions satisfy asset requirements but fail the required gameplay tests. We will release the harness, task benchmark, and our trajectory findings with the report.
• Abstract（参考訳）: ゲームエンジンでゲームプレイ機能を構築するにはコード以上のものが必要であり、コンパイルして実行するコードは要求されたゲームプレイを必ずしも実装しない。 CraftBenchUEは、分離されたUnreal Engine環境でエージェントを実行し、新しいプロジェクトで保存されたサブミッションを再構築し、LCMの判断なしで決定論的ビルド、アセット、実行時チェックを適用する評価ハーネスである。 ハーネスに基づいて、C++ソース、Blueprintアセット、エディタスクリプティングにまたがる70のタスクからなるベンチマークを構築しました。 C++タスクのファイル・アンド・シェルベースラインを2つのエディタ・ツール構成で評価する。 さらに、同じゲームプレイを指定するタスクと、同じランタイムテストを使用するタスクをペアにしていますが、成果物としてC++とBlueprintが必要です。 10のペアタスクで、C++の完了率は2つのツール構成でBlueprintの30.0と42.9ポイントを超えている。 資産チェックをパスするこのペアセットのリアルタイムBlueprintの提出のうち、42.2%と50.0%は明示的な実行時アサーションを失敗する。 これらの応募は資産要件を満たすが、必要なゲームプレイテストに失敗する。 レポートでは、ハーネス、タスクベンチマーク、軌跡の調査結果を公開します。

関連論文リスト

• RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
  真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。 インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。 レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
  論文  参考訳（メタデータ） (2026-09-18T17:00:56Z)
• GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions [37.944046267001745]
  コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。 現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。 我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
  論文  参考訳（メタデータ） (2026-09-18T09:51:41Z)
• GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments [1.392548092257887]
  提案するGameEngineBenchは,Unreal Engine 5プロジェクト内でのスコープ付きC++実装タスクにおけるコーディングエージェントの評価を行うベンチマークである。 評価セットは、ゲームプレイの仕組み、マルチプレイヤー動作、AIと世界オーケストレーション、アニメーションとムーブメント、UIとセッションコード、ロード動作、オンラインサービス統合、永続性、データシリアライゼーション、XR動作、レンダリング指向プラグインを対象とする110のタスクで構成されている。
  論文  参考訳（メタデータ） (2026-07-03T17:56:26Z)
• PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
  PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。 TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
  論文  参考訳（メタデータ） (2026-07-02T08:36:02Z)
• JAMER: Project-Level Code Framework Dataset and Benchmark on Professional Game Engines [38.658731944117875]
  プロのゲームエンジン上に構築された最初のプロジェクトレベルのゲームコードフレームワークデータセットとベンチマークであるJamSetとJamBenchを紹介します。 私たちの重要な洞察は、Game Jamコンペティションは、開発者が厳密な時間制約の下で完全なゲームを構築するコミュニティイベントであり、この目的に適した何千ものオープンソースプロジェクトを生み出します。
  論文  参考訳（メタデータ） (2026-06-18T06:17:46Z)
• GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? [65.42976417627254]
  ゲーム生成はゲームエンジン内で行われ、スクリプト、シーン、アセット、レンダリング、実行時インタラクションは共同でコヒーレントなゲームプレイを生成する必要がある。 我々は、完全なゲームアーティファクトを生成する問題として、エンド・ツー・エンドのゲーム生成を形式化する。 我々は、このフレームワークを15のゲームファミリーで140のGodotタスクからなるベンチマークであるGameCraft-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-06-16T12:34:39Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
  ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。 エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。 モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
  論文  参考訳（メタデータ） (2026-05-05T09:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。