論文の概要: Gym-Anything-RT: Scaling Real-Time Environments for Vision-Language Agents

• arxiv url: http://arxiv.org/abs/2610.37567v1
• Date: Tue, 27 Oct 2026 17:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.727384
• Title: Gym-Anything-RT: Scaling Real-Time Environments for Vision-Language Agents
• Title（参考訳）: Gym-Anything-RT:視覚言語エージェントのためのリアルタイム環境のスケーリング
• Abstract要約: Gym-Anything-RTは、インタラクティブなリアルタイム設定に必要な機能のポートフォリオを必要とするビジュアルミニゲームを構築するツールである。 Gym-Anything-RTの重要な特徴は、リアルタイムインタラクション機能の制御された比較を可能にすることである。 我々は、Gym-Anything-RTを使用して、100のリアルタイムミニゲームを構築し、その上でAIエージェントを評価する。
• 参考スコア（独自算出の注目度）: 24.011063667060792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents have made substantial progress in domains where they have a non-trivial amount of time to deliberate between actions, such as mathematics, software engineering, and performing tasks on desktop applications. It is less clear how such models fare in settings that demand real-time interaction, such as playing a video game or operating a physical device. In these settings, the environment state may evolve as the agent is reasoning, or even as the underlying model is performing a forward pass. To gain insight into the real-time interaction capabilities of vision-language agents, we introduce Gym-Anything-RT. Our key idea is to construct visual minigames that demand a portfolio of capabilities required for interactive real-time settings. Gym-Anything-RT uses an agentic pipeline to automatically generate such environments based on a taxonomy of six capabilities required for real-time interaction, including the ability to perceive the environment and act under an evolving environment state. A key feature of Gym-Anything-RT is that it allows for controlled comparison of real-time interaction capabilities: we can run the same minigame in real time, or pause or slow down the environment to relax the requirement for real-time actions. We use Gym-Anything-RT to construct 100 real-time minigames and evaluate AI agents on them. We find large capability gaps in real-time interaction. For example, GPT-6 Astra (xHigh) achieves a pass rate of only 9.0% on the real-time minigames, which rises to 75.0% when the environment is paused. We also identify intriguing behaviors by the most powerful frontier agents: for instance, when given the ability to write code, these agents write code that bypasses the need to perceive and act in real time. We publicly release Gym-Anything-RT and the generated minigames to spur further research on AI agents in real-time interactive settings.
• Abstract（参考訳）: AIエージェントは、数学、ソフトウェアエンジニアリング、デスクトップアプリケーションでのタスクの実行など、アクションを慎重に考えるための非自明な時間を持つ領域において、かなりの進歩を遂げている。 このようなモデルが、ビデオゲームや物理機器の操作など、リアルタイムのインタラクションを必要とする設定でどのように使われるのかは、明らかになっていない。 これらの設定では、エージェントが推論しているとき、または基礎となるモデルがフォワードパスを実行しているときでさえ、環境状態が進化する可能性がある。 Gym-Anything-RTを提案する。 私たちのキーとなるアイデアは、インタラクティブなリアルタイム設定に必要な機能のポートフォリオを必要とする、ビジュアルなミニゲームを構築することです。 Gym-Anything-RTはエージェントパイプラインを使用して、リアルタイムインタラクションに必要な6つの能力の分類に基づいて、環境を知覚し、進化する環境状態の下で機能する機能に基づいて、そのような環境を自動的に生成する。 Gym-Anything-RTの重要な特徴は、リアルタイムのインタラクション機能の制御された比較を可能にすることだ。 我々は、Gym-Anything-RTを使用して、100のリアルタイムミニゲームを構築し、その上でAIエージェントを評価する。 リアルタイムインタラクションには大きなギャップがあります。 例えば、GPT-6 Astra (xHigh)は、リアルタイムのミニゲームでは9.0%しかパスしないが、環境が停止すると75.0%に上昇する。 また、最も強力なフロンティアエージェントによる興味深い振る舞いも特定しています。例えば、コードを記述する能力が与えられたら、これらのエージェントは、リアルタイムで認識し行動する必要をなくすコードを書きます。 我々はGym-Anything-RTと生成されたミニゲームをリリースした。

関連論文リスト

• AgentGarten: Code Worlds for Evolving Agents [58.17336583239046]
  AgentGartenは、シミュレータとゲームエンジンを結合してリアルタイムのインタラクティブ環境を構築するフレームワークである。 我々の実証的研究は、従来の強化学習と比較すると、わずか4ラウンドで学習するエージェントが数百万に対して、学習効率はかなり向上していることを示している。
  論文  参考訳（メタデータ） (2026-10-08T17:32:00Z)
• Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach [23.52028824411467]
  本研究では,物理ロボットを用いた実環境におけるヌンペプソデスのナビゲーションエピソードに関する大規模実験を行った。 エンドツーエンドのトレーニングから生じる推論のタイプを分析します。 本稿では,エージェントが学習した値関数が長期計画に関連があることをポストホック分析で示す。
  論文  参考訳（メタデータ） (2025-03-11T11:16:47Z)
• TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [55.03911355902567]
  我々は、デジタルワーカーと同じような方法で世界と対話するAIエージェントを評価するためのベンチマークであるTheAgentCompanyを紹介する。 最も競争力のあるエージェントは、タスクの30%を自律的に完了させることができる。 これは、実際の職場の設定でLMエージェントをシミュレートすることで、タスク自動化に関する微妙な絵を描く。
  論文  参考訳（メタデータ） (2024-12-18T18:55:40Z)
• Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
  本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。 ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
  論文  参考訳（メタデータ） (2020-05-25T14:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。