論文の概要: GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents

• arxiv url: http://arxiv.org/abs/2609.22308v1
• Date: Tue, 15 Sep 2026 03:07:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.287077
• Title: GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents
• Title（参考訳）: GameReplica: ビジョンランゲージエージェントによるブラックボックス型ビジュアルゲームレプリケーションのベンチマーク
• Abstract要約: エンド・ツー・エンドのブラックボックスゲームレプリケーションのためのクローズドループ評価フレームワークであるGameReplicaを提案する。 GameReplicaは5つのコアメカニズムファミリーで25のゲームにまたがる125のタスクで構成され、各ゲームは5つの難易度でインスタンス化される。 実験によると、現在のコーディングエージェントは、エンドツーエンドのブラックボックスレプリケーションにおいて大きな課題に直面している。
• 参考スコア（独自算出の注目度）: 13.760274604178049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding-agent benchmarks usually evaluate implementation after the target behavior has been specified in text, code, or demonstrations. Existing research has extensively evaluated the ability of coding agents to generate programs from textual specifications. However, under black-box conditions where neither source code nor documentation is available, it remains underexplored whether an agent can induce the rules solely through visual observation and active interaction and reproduce the target system as a verifiable executable system. To this end, we present GameReplica, a closed-loop evaluation framework for end-to-end black-box game replication that covers the full perception, exploration, induction, reproduction, and verification pipeline. GameReplica comprises 125 tasks spanning 25 games across 5 core mechanism families, with each game instantiated at five difficulty levels. The tasks require an agent to access the target game only through screenshots and an action interface, induce the key visual elements and gameplay rules from pixel feedback and interaction outcomes, and generate a self-contained, runnable game replica that can be automatically verified by an external program. Experiments show that current coding agents still face substantial challenges in end-to-end black-box replication: the best-performing model (Claude Opus 4.8) achieves an overall score of 71.6\%, while the remaining models score only 4.0\%--42.9\%. Further analysis reveals a consistent pattern across all models: visual-fidelity scores are substantially higher than implementation- and rule-consistency scores, indicating that agents replicate visual appearance more readily than game mechanics. The difficulty levels further amplify the performance gap: from L1 to L5, the overall score of weaker agents drops sharply, whereas that of the best-performing agent declines only slightly.
• Abstract（参考訳）: コーディングエージェントベンチマークは通常、ターゲットの動作がテキスト、コード、デモで特定された後に実装を評価する。 既存の研究は、テキスト仕様からプログラムを生成するコーディングエージェントの能力を広く評価してきた。 しかし、ソースコードも文書も入手できないブラックボックス条件下では、エージェントが視覚的観察とアクティブなインタラクションのみでルールを誘導し、検証可能な実行可能システムとしてターゲットシステムを再現できるかどうかを未定のままである。 この目的のために、我々はGameReplicaを紹介した。これはエンドツーエンドのブラックボックスゲームレプリケーションのためのクローズドループ評価フレームワークで、完全な認識、探索、誘導、再生、検証パイプラインをカバーしている。 GameReplicaは5つのコアメカニズムファミリーで25のゲームにまたがる125のタスクで構成され、各ゲームは5つの難易度でインスタンス化される。 タスクは、スクリーンショットとアクションインターフェースを介してのみターゲットゲームにアクセスし、画素フィードバックとインタラクション結果から重要な視覚要素とゲームプレイルールを誘導し、外部プログラムで自動的に検証可能な自己完結型実行可能なゲームレプリカを生成する必要がある。 実験によると、現在のコーディングエージェントは、エンド・ツー・エンドのブラックボックス複製において依然として重大な課題に直面している。最高のパフォーマンスモデル(Claude Opus 4.8)は、全体的なスコアが71.6\%、残りのモデルでは4.0\%-42.9\%である。 視覚的忠実度スコアは実装とルール整合性スコアよりも著しく高く、エージェントはゲーム力学よりも視覚的外観をより容易に再現することを示している。 難易度はさらに性能ギャップを増幅する:L1からL5まで、弱剤の総合スコアは急激に低下するが、最高の性能剤のスコアはわずかに低下する。

関連論文リスト

• RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
  真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。 インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。 レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
  論文  参考訳（メタデータ） (2026-09-18T17:00:56Z)
• GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions [37.944046267001745]
  コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。 現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。 我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
  論文  参考訳（メタデータ） (2026-09-18T09:51:41Z)
• GameXpert-Bench: How Far Are Coding Agents from Expert Game Development? [6.806647989372878]
  最近の大規模言語モデル(LLM)は、自然言語要求から完全なゲームを構築するコーディングエージェントとして動作する。 ゲーム開発は、プログラムロジック、ビジュアルおよびオーディオコンテンツ、インタフェース、インタラクション、プレイ容易性が一つの実行可能アーティファクトで一緒に機能する必要があるため、特に要求がある。 完全な人間エージェント開発軌跡の分析では,コーディングエージェントを用いてゲーム開発のライフサイクルにまたがる3つの段階を同定する。
  論文  参考訳（メタデータ） (2026-08-22T08:05:16Z)
• Do Coding Agents Need Executable World Models, Simplification, and Verification to Solve ARC-AGI-3? [0.0]
  Codex-based ARC-AGI-3 エージェントのネスト性能について検討した。 最も堅牢な結果は、全てのエージェント変種がより強いモデルで改善されることである。 モデルはこれらの試合を延期し、保持されたパフォーマンスがまだ証明されていないため、この結果は公開セットのみの飽和と解釈されるべきである。
  論文  参考訳（メタデータ） (2026-07-16T20:18:59Z)
• GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? [65.42976417627254]
  ゲーム生成はゲームエンジン内で行われ、スクリプト、シーン、アセット、レンダリング、実行時インタラクションは共同でコヒーレントなゲームプレイを生成する必要がある。 我々は、完全なゲームアーティファクトを生成する問題として、エンド・ツー・エンドのゲーム生成を形式化する。 我々は、このフレームワークを15のゲームファミリーで140のGodotタスクからなるベンチマークであるGameCraft-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-06-16T12:34:39Z)
• GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
  GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。 2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。 18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
  論文  参考訳（メタデータ） (2026-04-08T17:49:03Z)
• GameDevBench: Evaluating Agentic Capabilities Through Game Development [49.19956546746812]
  ゲーム開発は、エージェントが本質的にマルチモーダル資産を操作しながら大きな密集物をナビゲートしなければならないようなテストベッドを提供する。 本稿では,ゲーム開発タスクにおけるエージェント評価のための最初のベンチマークであるGameDevBenchを紹介する。 エージェントは依然としてゲーム開発に苦戦しており、最高のエージェントは54.5%のタスクしか解決していない。
  論文  参考訳（メタデータ） (2026-02-11T18:15:11Z)
• An Empirical Study on the Generalization Power of Neural Representations Learned via Visual Guessing Games [79.23847247132345]
  本研究は,視覚質問応答(VQA)のような新しいNLP下流タスクにおいて,後から実行を依頼されたとき,人工エージェントが推測ゲームでどの程度の利益を得ることができるかを検討する。 提案手法は,1) エージェントがうまく推理ゲームを模倣することを学習する教師あり学習シナリオ,2) エージェントが単独でプレイする新しい方法,すなわち,反復経験学習(SPIEL)によるセルフプレイ(Self-play)を提案する。
  論文  参考訳（メタデータ） (2021-01-31T10:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。