論文の概要: GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development

• arxiv url: http://arxiv.org/abs/2609.21293v1
• Date: Fri, 18 Sep 2026 04:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.853791
• Title: GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development
• Title（参考訳）: GameASG-Bench: ゲーム開発のための自動ソフトウェア開発のベンチマーク
• Abstract要約: 本稿では,ゲーム開発における生成タスクの一部として,行動テスト容易性を組み込むベンチマークであるGameASG-Benchを紹介する。 本プロトコルは,12のジャンルと2Dおよび3Dのインタラクションにまたがる47のブラウザ実行ゲーム生成タスクとして実装されている。 実験は、エンドツーエンドエージェントのパフォーマンス、ツールアクセス、名目上のターン予算、推論の取り組み、選択の活用に関する4つの重要な疑問に答える。
• 参考スコア（独自算出の注目度）: 23.365772903562785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous software generation (ASG) aims to turn human requirements into executable applications, but delivering these applications does not necessarily establish that their interacting components satisfy the specified behavioral requirements. We introduce GameASG-Bench, a benchmark that makes behavioral testability part of the generation task for game development. Our design declares an evaluation interface specification before generation, fixing legal starting scenarios, player-level actions, stable snapshots, rejection behavior, and invariants while leaving private implementations open. Concretely, we include: (i) static L1 checks that assess source-level compliance; and (ii) browser-executed L2 checks that combine semantic observations with real input and runtime evidence. We implement this protocol as 47 browser-native game-generation tasks spanning 12 primary genres and both 2D and 3D interaction, each with executable checks and an independently verified reference implementation. Our experiments answer four key questions about end-to-end agent performance, tool access and nominal turn budget, reasoning effort, and harness choice. Across nine agent stacks, the highest observed mean L2 check pass rate is 93.2%, yet the highest observed strict task success rate, requiring all L1 and applicable L2 prerequisite and core requirement checks, is only 55.3% (26/47 tasks). For DeepSeek-V4-Flash, full tool access and larger nominal turn budgets yield more strict task successes, while the strict task success rate is not monotonic in reasoning effort. Both tested harnesses achieve 18 strict task successes, but only ten tasks succeed under both. These results expose task-level compliance gaps that high average check pass rates actually obscure.
• Abstract（参考訳）: 自律的ソフトウェア生成(ASG)は、人間の要求を実行可能なアプリケーションにすることを目的としているが、これらのアプリケーションを提供することによって、インタラクションコンポーネントが指定された振る舞い要求を満たすことを必ずしも保証しない。 本稿では,ゲーム開発における生成タスクの一部として,行動テスト容易性を組み込むベンチマークであるGameASG-Benchを紹介する。 我々の設計では、生成前に評価インターフェースの仕様を宣言し、合法的な開始シナリオ、プレイヤーレベルのアクション、安定したスナップショット、拒否動作、不変性を修正しながら、プライベート実装をオープンにしておく。 具体的には、以下を含む。 (i)ソースレベルのコンプライアンスを評価する静的L1チェック、および (ii) セマンティックな観察と実際の入力と実行時のエビデンスを組み合わせたブラウザ実行L2チェック。 本プロトコルは,12のジャンルにまたがる47のブラウザネイティブなゲーム生成タスクと,それぞれが実行可能チェックと独立に検証された参照実装を備えた2Dおよび3Dインタラクションとして実装されている。 実験では、エンドツーエンドエージェントのパフォーマンス、ツールアクセス、名目上のターン予算、推論の取り組み、選択の活用に関する4つの重要な疑問に答える。 9つのエージェントスタックの中で、最も観測された平均L2チェックパスレートは93.2%であるが、最も観察された最も厳密なタスク成功率であり、すべてのL1と適用可能なL2前提条件およびコア要件チェックは55.3%(26/47タスク)である。 DeepSeek-V4-Flashでは、完全なツールアクセスとより大きな名目的なターン予算がより厳密なタスク成功をもたらすが、厳密なタスク成功率は推論の努力において単調ではない。 両方のテストハーネスは18の厳密なタスク成功を達成するが、どちらも10のタスクしか成功しない。 これらの結果は、平均的なチェックパス率が実際に明らかでないタスクレベルのコンプライアンスギャップを露呈する。

関連論文リスト

• VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
  VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。 汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。 モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
  論文  参考訳（メタデータ） (2026-09-17T01:24:51Z)
• EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents [56.25120535601186]
  視覚言語アクション(VLA)モデルは、視覚観察と言語指示を直接ロボットアクションにマッピングする。 本稿では,各スキル決定を実行提案として扱うフレームワークであるEmbodiedSkillsを提案する。 共有可能スキルインタフェースは、ハイレベルスキル選択、バウンドローレベルVLA実行、ポストアクション検証を接続する。
  論文  参考訳（メタデータ） (2026-09-01T14:14:47Z)
• GTA-2: Benchmarking General Tool Agents from Atomic Tool-Use to Open-Ended Workflows [90.35728421223673]
  GTA-2はジェネラル・ツール・エージェント(GTA)の階層的なベンチマークである 現実世界の認証に基づいて構築され、実際のユーザクエリ、デプロイツール、マルチモーダルコンテキストを活用する。 実験では、フロンティアモデルは既に原子タスクに苦戦しているが、トップモデルは14.39%の成功しか達成していない。
  論文  参考訳（メタデータ） (2026-04-17T05:36:00Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Proactive Rejection and Grounded Execution: A Dual-Stage Intent Analysis Paradigm for Safe and Efficient AIoT Smart Homes [37.92248202525651]
  本稿では,低レベルの物理的実行から高レベルのユーザ意図理解を分離するためのDual-Stage Intent-Aware (DS-IA)フレームワークを提案する。 試験の結果、DS-IAは58.56%(ベースラインを28%以上上回る)のエクサクトマッチ(EM)を達成し、無効命令の拒否率を87.04%に改善した。
  論文  参考訳（メタデータ） (2026-03-17T07:38:39Z)
• ProactiveMobile: A Comprehensive Benchmark for Boosting Proactive Intelligence on Mobile Devices [17.39388308538324]
  本稿では,プロアクティブなモバイルエージェント開発のためのベンチマークであるProactiveMobileを紹介する。 プロアクティブタスクは、デバイス上のコンテキスト信号の4次元にわたる潜在ユーザ意図を推測するものとして形式化されている。 このベンチマークは成功率19.15%で、実験ではo1 (15.71%) と GPT-5 (7.39%) を上回っている。
  論文  参考訳（メタデータ） (2026-02-25T12:32:37Z)
• Tuning Qwen2.5-VL to Improve Its Web Interaction Skills [86.49147611872958]
  我々は、Webベースの制御において利用可能な最強のオープンソースビジョン言語モデルであるQwen2.5-VL-32Bについて検討する。 対象要素の非正確な局在化,カーソルとその相対位置,(ii)指示句に対する感度,(iii)その行動に対する過度な最適化バイアス,の3つの課題を考察した。 トレーニングパイプラインは,(1)カーソルが既に対象の要素上に配置されているか,あるいは移動が必要なのかをモデルに教える,(2)単一コマンドを実行するためのトレーニングを行う,という2つの段階から構成される。
  論文  参考訳（メタデータ） (2026-02-20T13:35:43Z)
• Scaling Verification Can Be More Effective than Scaling Policy Learning for Vision-Language-Action Alignment [58.93227458806748]
  CoVer-VLAは、訓練された検証器を用いた階層的なテスト時間検証パイプラインである。 我々のフレームワークはビジョン・ランゲージ・モデルから多種多様な説明文をプリコンプリートする。 各命令に対して繰り返しアクション候補を生成し、検証器を使用して最適なハイレベルプロンプトと低レベルアクションチャンクを選択する。
  論文  参考訳（メタデータ） (2026-02-12T18:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。