論文の概要: Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent
- arxiv url: http://arxiv.org/abs/2611.18397v1
- Date: Fri, 13 Nov 2026 16:39:30 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:21.676335
- Title: Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent
- Title(参考訳): Gamer: 長距離リアルタイムゲームエージェントのための汎用ビジョンランゲージ・アクション・ファンデーションモデル
- Abstract要約: Gamerは複雑な対話環境における長期タスクのためのフレームワークである。
そのエンドツーエンドアーキテクチャは、知覚、メモリ管理、多段階推論を組み合わせたものである。
従来の2Dゲームベンチマークで競合する結果が得られる。
- 参考スコア(独自算出の注目度): 55.90441466170707
- License:
- Abstract: We introduce Gamer, a generalist agent framework built for long-horizon tasks in complex interactive environments. Its end-to-end architecture combines perception, memory management, and multi-step reasoning. A shared training and deployment pipeline supports interaction with both conventional 2D graphical interfaces and complex 3D simulated worlds. We first continue pre-training on a dataset constructed from tens of thousands of hours of device-level keyboard and mouse interaction. These trajectories span simulated games and embodied environments, allowing the model to learn environmental dynamics across both physical and virtual domains. Sparse-thinking instruction tuning then substantially reduces redundant computation while preserving the reasoning needed for complex decisions. We train the policy for long-horizon interaction with a stable multi-turn reinforcement learning method that addresses finite context windows, accumulated rollout errors, and sparse rewards. For real-time interaction, a cloud-edge inference engine serves numerous simulated game environments concurrently, supports unbounded-context execution, and keeps online inference latency low. Across multiple challenging 3D open-world games, Gamer demonstrates solid generalization and operational efficiency comparable to skilled players. It also achieves competitive results on a range of conventional 2D game benchmarks. These results suggest that even repetitive keyboard and mouse trajectories can support substantial gains from scaling data and learning algorithms. Training on these trajectories helps Gamer learn complex skills more steadily in environments with both physical and digital properties. This approach offers a path toward generalist agents that can interact across digital and physical worlds.
- Abstract(参考訳): 複雑な対話環境における長時間作業のための汎用エージェントフレームワークであるGamerを紹介する。
そのエンドツーエンドアーキテクチャは、知覚、メモリ管理、多段階推論を組み合わせたものである。
共有トレーニングとデプロイメントパイプラインは、従来の2Dグラフィカルインターフェースと複雑な3Dシミュレートされた世界の両方とのインタラクションをサポートする。
まず、デバイスレベルのキーボードとマウスのインタラクションに何万時間もの時間を費やして構築されたデータセットの事前トレーニングを継続する。
これらの軌道はシミュレーションされたゲームや具現化された環境にまたがっており、モデルが物理的な領域と仮想領域の両方にわたる環境力学を学習することができる。
スパース思考の命令チューニングは、複雑な決定に必要な推論を保ちながら、冗長な計算を大幅に削減する。
我々は,有限コンテキストウィンドウ,累積ロールアウト誤差,スパース報酬に対処する,安定なマルチターン強化学習法を用いて,長期的相互作用のためのポリシーを訓練する。
リアルタイムインタラクションのために、クラウドエッジ推論エンジンは、多数のシミュレーションされたゲーム環境を同時に提供し、無制限のコンテキスト実行をサポートし、オンライン推論レイテンシを低く保つ。
複数の挑戦的な3Dオープンワールドゲームの中で、Gamerは、熟練したプレイヤーに匹敵する、しっかりとした一般化と運用効率を実演している。
また、従来の2Dゲームベンチマークの競争結果も達成している。
これらの結果は、繰り返しキーボードやマウスの軌道でさえ、データのスケーリングや学習アルゴリズムからかなりの利益を得られることを示唆している。
これらの軌道の訓練は、Gamerが物理的な特性とデジタル特性の両方を持つ環境で、より安定した複雑なスキルを学ぶのに役立つ。
このアプローチは、デジタル世界と物理世界の間で対話できる汎用エージェントへの道を提供する。
関連論文リスト
- PlayGen2: Learning Real-Time Playable Worlds with Explicit 3D State [31.37334448936686]
ニューラルネットワークから学習した3D状態の進化を分離したリアルタイムインタラクティブな世界モデルであるPlayGen2を提案する。
我々は,このモデルがプレイヤーの動きやプレイヤーのNPC相互作用を含む世界ダイナミクスをうまく学習できることを実証した。
論文 参考訳(メタデータ) (2026-11-05T11:45:25Z) - AgentGarten: Code Worlds for Evolving Agents [58.17336583239046]
AgentGartenは、シミュレータとゲームエンジンを結合してリアルタイムのインタラクティブ環境を構築するフレームワークである。
我々の実証的研究は、従来の強化学習と比較すると、わずか4ラウンドで学習するエージェントが数百万に対して、学習効率はかなり向上していることを示している。
論文 参考訳(メタデータ) (2026-10-08T17:32:00Z) - GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳(メタデータ) (2026-04-08T17:49:03Z) - Game-TARS: Pretrained Foundation Models for Scalable Generalist Multimodal Game Agents [56.25101378553328]
本稿では,汎用ゲームエージェントであるGame-TARSについて紹介する。
Game-TARSは500B以上のトークンで事前トレーニングされており、様々な軌跡とマルチモーダルデータがある。
実験により、Game-TARSは、オープンワールドMinecraftタスクにおける以前のソータモデルの約2倍の成功率を達成することが示された。
論文 参考訳(メタデータ) (2025-10-27T17:43:51Z) - WILD-SCAV: Benchmarking FPS Gaming AI on Unity3D-based Environments [5.020816812380825]
深部強化学習(RL)の最近の進歩は,シミュレーション環境における複雑な意思決定能力を示している。
しかしながら、これらは、トレーニングやテストが行われる環境の複雑さやバリエーションが欠如しているため、より複雑な問題はほとんどありません。
我々は,このギャップを埋めるために,3次元オープンワールドFPSゲームに基づく,強力でオープンな環境であるWILD-SCAVを開発した。
エージェントは3D環境を理解し、ナビゲートし、計画し、人間のような方法で競争し、協力することができる。
論文 参考訳(メタデータ) (2022-10-14T13:39:41Z) - Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。
ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
論文 参考訳(メタデータ) (2020-05-25T14:10:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。