論文の概要: GTAGym: AAA Game Tasks Environment for Evaluation and Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.13028v2
- Date: Wed, 11 Nov 2026 11:55:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.895056
- Title: GTAGym: AAA Game Tasks Environment for Evaluation and Reinforcement Learning
- Title(参考訳): GTAGym: 評価と強化学習のためのAAAゲームタスク環境
- Abstract要約: AAAゲームでエージェントがタスクを完了できるかを評価することは困難であり、しばしば人間に注釈を付ける。
本稿では,GTA Vタスクにおける評価とRLのための環境とフレームワークであるGTAGymを紹介する。
- 参考スコア(独自算出の注目度): 64.26350521731001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AAA games offer a rich testbed for evaluating agent perception, reasoning, and control. However, evaluating whether agents can complete tasks in AAA games is challenging and often human-annotated because task outcomes are often difficult to verify automatically, let alone applying it for Reinforcement Learning (RL). We introduce GTAGym, an environment and framework for evaluation and RL on GTA V tasks. Its evaluation benchmark, GTAVBench, derived from GTA V main-story missions, contains 103 online tasks reconstructed across nine task families, alongside 47 image-based shooting and sniping tasks using GTA V imagery. A web server provides access to the online environment and evaluation interface, supporting parallel testing through screenshots and keyboard-mouse actions with automatic engine-state outcome checks. We evaluate six frontier LLMs on GTAVBench with textual task instructions and on its GTAVBench-AGI branch, where instructions appear only in the first screenshot and a harness automatically compresses interaction history. The best configuration achieves 70.9% overall accuracy in GTAVBench-AGI, yet aerial navigation, evasion and interception remain difficult. GTAGym also provides a scalable generator that samples task parameters within user-specified ranges and option sets under fixed templates, creating batches of 3D and image-based shooting environments for RL with automatic reward and termination signals. LoRA RL of Qwen3.8-27B on generated on-foot navigation tasks improves the in-domain performance and transfers to out-of-domain task categories, and native GTA V tasks from 15% to 23%.
- Abstract(参考訳): AAAゲームはエージェントの知覚、推論、制御を評価するための豊富なテストベッドを提供する。
しかしながら、AAAゲームにおいてエージェントがタスクを完了させるかどうかを評価することは困難であり、多くの場合、タスク結果の自動検証が難しいため、Reinforcement Learning(RL)に適用することは言うまでもない。
本稿では,GTA Vタスクにおける評価とRLのための環境とフレームワークであるGTAGymを紹介する。
評価ベンチマークであるGTAVBenchは、GTA Vのメインストーリーミッションから派生したもので、9つのタスクファミリーで再構築された103のオンラインタスクと、GTA Vイメージを使用した47のイメージベースシューティングおよびスニッピングタスクを含んでいる。
Webサーバは、オンライン環境と評価インターフェースへのアクセスを提供し、スクリーンショットによる並列テストと自動エンジン状態結果チェックによるキーボードマウスアクションをサポートする。
GTAVBench 上の6つのフロンティア LLM をテキストタスク命令と GTAVBench-AGI ブランチで評価する。
最高設定はGTAVBench-AGIで70.9%の精度を達成するが、空中航行、回避、インターセプションは難しいままである。
GTAGymはまた、ユーザ指定範囲内のタスクパラメータと、固定テンプレートの下でオプションセットをサンプリングするスケーラブルなジェネレータを提供し、自動報酬と終了信号を備えたRL用の3Dおよびイメージベースの撮影環境のバッチを生成する。
Qwen3.8-27BのLORA RLは、生成されたオンフットナビゲーションタスクにおいて、ドメイン内のパフォーマンスを改善し、ドメイン外のタスクカテゴリに転送し、ネイティブのGTA Vタスクを15%から23%に改善する。
関連論文リスト
- Explorer-Zero: Improving Self-Play for Long-Horizon Tasks with Decomposable Verifiable Rewards [16.768499457828494]
強化学習を伴う長期的対話型タスクのLLMエージェントは通常、人間による注釈付きタスクと信頼性のある検証に依存している。
本研究では,環境相互作用を通じてタスクと細粒度で検証可能な報酬を共同で生成するセルフプレイフレームワークであるExplorer-Zeroを提案する。
我々は,サブタスク報酬が,異なる数のサブタスクを完了した場合に,ロールアウト失敗の崩壊を減少させることを理論的に示す。
論文 参考訳(メタデータ) (2026-10-14T09:29:31Z) - DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers [0.0]
固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。
現実的な目標を生成し、それぞれの目標を追求し、成功軌道を記録し、その軌跡をパスに依存しない効果チェックポイントに蒸留し、最終的な答えにはない、それらの効果を再現するかどうかをエージェントにスコアする。
最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデル無しで解決され、必要なツールチェーンが長くなるにつれて精度が低下する。
論文 参考訳(メタデータ) (2026-07-10T12:25:57Z) - MultiUAV-Plat: An LLM-Oriented Platform, Benchmark and Framework for Multi-UAV Collaborative Task Planning [4.712457848623237]
大規模言語モデル(LLM)は、ハイレベルなロボットタスク計画のための有望なインターフェースを提供する。
既存のUAVシミュレータは主に力学、知覚、低レベル制御に重点を置いている。
既存のLLMエージェントは、部分観測性のような空中ロボティクスの制約をほとんど捉えない。
マルチUAVタスク計画のための軽量で使いやすいシミュレーションプラットフォームであるMultiUAV-Platを提案する。
論文 参考訳(メタデータ) (2026-06-30T03:02:12Z) - GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。
eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。
i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
論文 参考訳(メタデータ) (2026-05-28T01:05:50Z) - GTA-2: Benchmarking General Tool Agents from Atomic Tool-Use to Open-Ended Workflows [90.35728421223673]
GTA-2はジェネラル・ツール・エージェント(GTA)の階層的なベンチマークである
現実世界の認証に基づいて構築され、実際のユーザクエリ、デプロイツール、マルチモーダルコンテキストを活用する。
実験では、フロンティアモデルは既に原子タスクに苦戦しているが、トップモデルは14.39%の成功しか達成していない。
論文 参考訳(メタデータ) (2026-04-17T05:36:00Z) - ClawBench: Can AI Agents Complete Everyday Online Tasks? [50.958690494341106]
ClawBenchは153のシンプルなタスクの評価フレームワークで、人々が人生や仕事で定期的に達成する必要がある。
ClawBenchは本番Webサイトで動作し、実世界のWebインタラクションの完全な複雑さ、動的な性質、課題を保存する。
軽量なインターセプション層は、最終的なリクエストのみをキャプチャしてブロックし、現実世界の副作用なしに安全な評価を保証する。
論文 参考訳(メタデータ) (2026-04-09T17:57:13Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳(メタデータ) (2026-01-17T01:29:30Z) - GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。
リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。
このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
論文 参考訳(メタデータ) (2025-11-06T12:19:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。