論文の概要: GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay

• arxiv url: http://arxiv.org/abs/2609.25001v1
• Date: Mon, 21 Sep 2026 17:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.462305
• Title: GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay
• Title（参考訳）: GameHorizon Suite:マルチ水平データとゲームプレイの評価
• Abstract要約: 我々は,多種多様なモデルファミリーに対して,異なる地平線におけるゲームプレイ能力を測定する統一データと評価スイートであるGameHorizonを紹介する。 GameHorizon-Dataは、時間的に整列されたビデオ、プレイヤアクション、マルチホライゾン命令を備えた最初の大規模AAAゲームプレイデータセットである。 再現可能なオフラインおよびステップワイズオンラインテストを備えたGameHorizon-Benchを構築します。
• 参考スコア（独自算出の注目度）: 96.56671308197234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern video games provide a measurable testbed for AI models, combining abilities of visual understanding, instruction decomposition, goal planning, and precise action control over multiple temporal horizons. Existing datasets and benchmarks, however, either cover a narrow range of games, lack language instructions, or rely on high-variance online rollouts. To address these challenges, we introduce GameHorizon, a unified data and evaluation suite that measures gameplay capabilities at different horizons for diverse model families. GameHorizon Suite consists of three components. First, GameHorizon-Annotator is a scalable and automated annotation pipeline for multi-horizon instructions. Second, utilizing the pipeline, we construct GameHorizon-Data, the first large-scale AAA gameplay dataset with temporally aligned videos, player actions, and multi-horizon instructions. It comprises 5,000 hours of recordings from 21 games, collected by 100 human expert players. Third, we build GameHorizon-Bench with reproducible offline and stepwise online testing. The offline track enables reproducible evaluation using thousands of standardized questions organized into three primary tasks and a series of diagnostic variants, while the online track tests whether offline scores reflect actual gameplay capabilities and localizes failures to specific steps within long-horizon gameplay. Based on our GameHorizon Suite, we evaluate 47 models through more than one million model invocations, revealing a meaningful hierarchy of task difficulty and pronounced differences in model capabilities. Our work can provide a standardized yardstick for evaluating gameplay capabilities across horizons and model families. We will release our dataset, annotator, and benchmark to facilitate future research.
• Abstract（参考訳）: 現代のビデオゲームは、視覚的理解、命令分解、目標計画、複数の時間的地平線上の正確なアクション制御の能力を組み合わせた、AIモデルのための測定可能なテストベッドを提供する。 しかし、既存のデータセットとベンチマークは、限られた範囲のゲームをカバーするか、言語命令が欠けているか、高分散オンラインロールアウトに依存している。 これらの課題に対処するために,多種多様なモデルファミリーに対して,異なる地平線におけるゲームプレイ能力を測定する統一データと評価スイートであるGameHorizonを紹介した。 GameHorizon Suiteは3つのコンポーネントで構成されている。 まず、GameHorizon-Annotatorはマルチ水平命令のためのスケーラブルで自動化されたアノテーションパイプラインである。 第2に,このパイプラインを利用するGameHorizon-Dataは,時間的にアライメントされたビデオ,プレイヤアクション,マルチホライズンインストラクションを備えた,最初の大規模AAAゲームプレイデータセットである。 収録時間は21試合5000時間で、100人の専門家が収集している。 第3に、再現可能なオフラインおよびステップワイズオンラインテストを備えたGameHorizon-Benchを構築します。 オフライントラックは、3つの主要なタスクと一連の診断変数にまとめられた何千もの標準化された質問を用いて再現可能な評価を可能にし、オンライントラックはオフラインスコアが実際のゲームプレイ能力を反映しているかどうかをテストし、長い水平ゲームプレイ内の特定のステップに障害をローカライズする。 GameHorizon Suiteに基づいて、100万以上のモデル呼び出しを通じて47のモデルを評価し、タスクの難しさの有意義な階層構造と、モデル機能の違いを明らかにします。 我々の研究は、水平線とモデルファミリーをまたいだゲームプレイ能力を評価するための標準化されたヤードスティックを提供することができる。 将来の研究を促進するために、データセット、アノテーション、ベンチマークをリリースします。

関連論文リスト

• GameXpert-Bench: How Far Are Coding Agents from Expert Game Development? [6.806647989372878]
  最近の大規模言語モデル(LLM)は、自然言語要求から完全なゲームを構築するコーディングエージェントとして動作する。 ゲーム開発は、プログラムロジック、ビジュアルおよびオーディオコンテンツ、インタフェース、インタラクション、プレイ容易性が一つの実行可能アーティファクトで一緒に機能する必要があるため、特に要求がある。 完全な人間エージェント開発軌跡の分析では,コーディングエージェントを用いてゲーム開発のライフサイクルにまたがる3つの段階を同定する。
  論文  参考訳（メタデータ） (2026-08-22T08:05:16Z)
• GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
  GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。 2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。 18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
  論文  参考訳（メタデータ） (2026-04-08T17:49:03Z)
• NitroGen: An Open Foundation Model for Generalist Gaming Agents [101.41866522979548]
  NitroGenは、ジェネラリストゲームエージェントのためのビジョンアクション基盤モデルである。 1000以上のゲームで4万時間のゲームプレイビデオでトレーニングされている。
  論文  参考訳（メタデータ） (2026-01-04T16:24:50Z)
• Learning to play: A Multimodal Agent for 3D Game-Play [2.5663091969883993]
  まず,多種多様な3Dファーストパーソンゲームから収集した人間のゲームプレイのデータセットについて述べる。 得られたモデルが様々な3Dゲームをプレイし、テキスト入力に応答できることを示す。
  論文  参考訳（メタデータ） (2025-10-19T09:45:15Z)
• FlashAdventure: A Benchmark for GUI Agents Solving Full Story Arcs in Diverse Adventure Games [56.81554611870848]
  我々はFlashAdventureを紹介した。これは、フルストーリーのアーク補完をテストするために設計された、34のFlashベースのアドベンチャーゲームのベンチマークである。 また,ゲームプレイの自動評価装置であるCUA-as-a-Judgeと,長期記憶を利用したエージェントフレームワークであるCOASTを提案する。 実験では、現在のGUIエージェントがフルストーリーのアークに苦しむのに対して、COASTは観察と振る舞いのギャップを埋めることでマイルストーンの完了を改善する。
  論文  参考訳（メタデータ） (2025-09-01T01:33:16Z)
• Pixels to Play: A Foundation Model for 3D Gameplay [4.380638021267298]
  そこで,Pixels2Play-0.1(P2P0.1)を紹介した。
  論文  参考訳（メタデータ） (2025-08-19T22:24:50Z)
• CommonsenseQA 2.0: Exposing the Limits of AI through Gamification [126.85096257968414]
  現代自然言語理解モデルの能力をテストするベンチマークを構築した。 本研究では,データ構築の枠組みとしてゲーミフィケーションを提案する。
  論文  参考訳（メタデータ） (2022-01-14T06:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。