論文の概要: OCTAVE: A Capability-Resolved Benchmark for End-to-End HTML5 Game Generation
- arxiv url: http://arxiv.org/abs/2611.17681v1
- Date: Fri, 13 Nov 2026 02:48:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.294521
- Title: OCTAVE: A Capability-Resolved Benchmark for End-to-End HTML5 Game Generation
- Title(参考訳): OCTAVE: エンド・ツー・エンドのHTML5ゲーム生成のための機能改善ベンチマーク
- Abstract要約: OCTAVEは8つの機能ディメンジョンを中心に構成されたHTML5ゲーム生成のベンチマークである。
PC Web, Mobile Web, 2D, 3Dに対応している。
- 参考スコア(独自算出の注目度): 25.766185525527472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Complete game generation requires agents to coordinate rules, interactions, states, and presentation over a long development process. A single aggregate score obscures which capabilities are implemented and which requirements remain unmet. We present OCTAVE, a benchmark for complete HTML5 game generation organized around eight Capability Dimensions, with 180 tasks and 1,800 Evaluation Requirements drawn from real player requests, commercial-mechanics reconstruction, and human expert design. It covers PC Web, Mobile Web, 2D, and 3D. Requirements distinguish Completeness, assessing publicly specified core implementation, from Richness, assessing hidden, deeper system relationships. Static source-code judgments provide requirement-level diagnosis across capabilities and task conditions. Evaluation of 11 model-harness combinations yields 33.2% Completeness and 32.5% Richness; 19.9% of generation records are static gate failures or missing artifacts. Excluding same-model self-evaluation, even the best combination remains below 50% on both public and hidden requirements. Richness is not harder than Completeness under every task condition. Systems perform relatively better on Core Rules and Numerical Design, while AI/NPC and Feedback and Game Feel show more prominent gaps. Requirement difficulty offers coarse stratification but is only weakly negatively correlated with pass rates. A limited human cross-check finds that requirements judged satisfied by humans but failed by the automated evaluator are the main direction of disagreement. OCTAVE extends evaluation beyond aggregate scores to diagnosis localized by requirement, capability, and task condition.
- Abstract(参考訳): 完全なゲーム生成には、長い開発プロセスにおいてルール、インタラクション、状態、プレゼンテーションを調整するエージェントが必要である。
単一のアグリゲーションスコアは、どの機能が実装され、どの要件が未完成のままかを明確にする。
OCTAVEは8つの機能ディメンションで構成されたHTML5ゲーム生成のベンチマークであり,180のタスクと1,800のアセスメント要求が実際のプレイヤーからの要求,商業機械の再構築,人間の専門家設計から引き出された。
PC Web, Mobile Web, 2D, 3Dに対応している。
要求は完全性(Completeness)を区別し、公に指定されたコア実装をリッチ性(Richness)から評価し、隠されたより深いシステム関係を評価する。
静的ソースコード判定は、機能とタスク条件をまたいだ要件レベルの診断を提供する。
11のモデルハーネスの組み合わせの評価では33.2%が完全性、32.5%がリッチ性、19.9%が静的ゲート障害または欠落した人工物である。
同じモデルの自己評価を除いて、最高の組み合わせでさえ、パブリックとシークレットの両方の要件において50%以下である。
豊かさはあらゆるタスク条件下で完全さよりも難しくありません。
システムはコアルールと数値設計において比較的よく機能するが、AI/NPCとフィードバックとゲームフィールはより顕著なギャップを示す。
要求困難は粗い成層を提供するが、通過速度と弱い負の相関しか持たない。
制限された人間のクロスチェックにより、人間によって判断されるが、自動評価装置によって失敗する要件が、不一致の主な方向であることがわかった。
OCTAVEは、アグリゲーションスコアを超えて、要求、能力、タスク条件によって局所化された診断まで評価を拡張している。
関連論文リスト
- UnityBench-Mini3D: Evaluating LLM Agents for 3D Game Development in Unity [29.064058398289376]
77のプロジェクトレベルのUnityタスクのベンチマークであるUnityBench-Mini3Dを紹介します。
各タスクは、自然言語要求の完全なUnityプロジェクトとペアリングし、1,178のホールトアウト、人間によるマイルストーンテストを使用して評価される。
論文 参考訳(メタデータ) (2026-10-26T10:19:14Z) - AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses [35.275054293687695]
AM-Bench は Terminal-Bench 2.0 と Harness-Bench から適応した48のタスクから構築されたベンチマークである。
各タスクには、完全に指定された参照と、曖昧または欠落した目標、コンテキスト、制約にまたがる6つの変種が含まれている。
5つのモデルと4つのハーネスのペアリングを20,160回のランで評価する。
論文 参考訳(メタデータ) (2026-10-13T10:11:05Z) - HarnessEval-W: Agentifying the Evaluation of Visual Worlds [149.63310396189317]
HarnessEval-Wは、世界モデルのベンチマークのためのエージェント化された評価パイプラインである。
HarnessEval-Wは固定ルーブリックを適用するのではなく、評価問題を測定可能なサブプロブレムに分解する。
330件の評価事例に対して,HarnessEval-Wを18の代表的な世界モデルに適用した。
論文 参考訳(メタデータ) (2026-08-17T17:43:24Z) - Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳(メタデータ) (2026-08-11T18:48:40Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳(メタデータ) (2026-05-11T00:04:19Z) - DRBENCHER: Can Your Agent Identify the Entity, Retrieve Its Properties and Do the Math? [12.977641563457135]
DRBENCHERは、ブラウジングと計算の両方を必要とする質問のための合成ベンチマークジェネレータである。
検証可能性、複雑さ、難易度、多様性の4つの基準を強制する。
人間の評価は76%の妥当性を示し、35%のエラーは古い知識グラフのエントリによるものである。
論文 参考訳(メタデータ) (2026-04-10T12:07:22Z) - Thinking in Structures: Evaluating Spatial Intelligence through Reasoning on Constrained Manifolds [6.062002698657217]
SSI-Benchは制約された3次元構造の空間的推論のためのベンチマークである。
10人の研究者が400時間以上かけて画像をキュレーションし、構造部品を注釈付けし、ピクセルレベルの手がかりを最小限にするために質問をデザインしました。
最高のオープンソースモデルは22.2%の精度で最強のクローズドソースモデルは33.6%、人間は91.6%である。
論文 参考訳(メタデータ) (2026-02-08T08:29:38Z) - Wow, wo, val! A Comprehensive Embodied World Model Evaluation Turing Test [62.17144846428715]
我々は、Embodied Turing Testベンチマーク: WoW-World-Eval (Wow,wo,val)を紹介する。
Wow-wo-valは知覚、計画、予測、一般化、実行の5つのコア能力を調べる。
Inverse Dynamic Model Turing Testでは、まずIMMを用いて、実世界におけるビデオ基盤モデルの実行精度を評価する。
論文 参考訳(メタデータ) (2026-01-07T17:50:37Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳(メタデータ) (2025-08-07T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。