論文の概要: The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock

• arxiv url: http://arxiv.org/abs/2610.20665v1
• Date: Wed, 14 Oct 2026 09:35:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.974082
• Title: The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock
• Title（参考訳）: 世界は待ちきれない:ライブクロックでエージェントの評価と指導
• Abstract要約: 大規模言語モデル(LLM)エージェントは複雑な対話的なタスクを解くことができるが、推論やツールコールには時間がかかる。 6種類のゲームタイプに180のタスクを持つRealtimeBenchを導入し、推論中にゲームが動作し続ける間、エージェントを評価します。 2時間オフライン再帰自己改善(TORSI)を提案する。
• 参考スコア（独自算出の注目度）: 36.49240941104561
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents can solve complex interactive tasks, yet reasoning and tool calls take time. In continuously changing environments, an otherwise correct action may arrive too late. We introduce RealtimeBench, with 180 tasks across six game types, to evaluate agents while games continue running during inference. Paired evaluations show that GPT-6.1-sol outperforms the faster Jev when games are paused, but falls behind when they keep running. We propose Two-Timescale Offline Recursive Self-Improvement (TORSI): a slow teacher studies failures and tests corrections in paused games between attempts, then writes reusable instructions for a fast student. The student acts without teacher calls during gameplay, and validation scores determine which updates are adopted. Two rounds raise Jev's average test score from 13.51 to 24.19 on a 0--100 progress scale, improving all six game types. The instructions also improve average scores for three other models without retuning. These findings point toward real-time intelligence: enabling powerful LLM agents to remain effective in a continuously changing world by organizing deliberation, learning, and action across timescales.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは複雑な対話的なタスクを解くことができるが、推論やツールコールには時間がかかる。 継続的に変化する環境では、そうでなければ正しい行動は遅すぎるかもしれない。 6種類のゲームタイプに180のタスクを持つRealtimeBenchを導入し、推論中にゲームが動作し続ける間、エージェントを評価します。 ペア評価では、GPT-6.1-solはゲームの停止時にJevよりも速いが、実行中は遅れる。 本稿では,2時間オフライン再帰自己改善(Two-Timescale Offline Recursive Self-Improvement,TORSI)を提案する。 生徒はゲームプレイ中に教師の電話なしで行動し、検証スコアはどの更新が採用されたかを決定する。 2ラウンドでJevの平均テストスコアが13.51から24.19に上昇し、0-100のプログレススケールで6種類のゲームが改良された。 インストラクションは、他の3つのモデルのスコアを調整せずに改善する。 これらの知見は、リアルタイムインテリジェンス(リアルタイムインテリジェンス)に向けられ、強力なLLMエージェントが、時間スケールにわたる熟考、学習、行動の組織化によって、継続的に変化する世界で有効に保たれるようにする。

関連論文リスト

• Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition [40.08494811358436]
  ヒューリスティックラーニング(英: Heuristic Learning、AHL)は、AIエージェントを学習エンジンとして使用してゲームポリシーを洗練し、ソフトウェアをサポートするパラダイムである。 AAArenaは12の正反対ゲームと1,920のアーカイブされた人間プログラムからなるベンチマークである。 エージェントは、ルールを解釈し、相手を選択し、リプレイを分析し、ゲームエージェントを修正し、一定の試合と評価予算の中で最高ランクを達成する。
  論文  参考訳（メタデータ） (2026-10-08T17:15:48Z)
• SpeedrunBench: Challenging LLM Agents with Video Game Speedrunning [5.824899281958661]
  LLMエージェントは、人間が測定可能なソリューションを持つ、ますます複雑なタスクを解決できることが示されている。 このことは、LLMのエージェントが人類がすでに解決した問題を超えることができるかどうかという、関連する疑問を提起する。 本稿では,ゲームスピードランニングのコミュニティ実践を通じて,エージェントのこのような戦略形成能力について検討する。
  論文  参考訳（メタデータ） (2026-10-06T10:06:25Z)
• OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine [5.42366948457573]
  OpenGameEvalは、Studio内でのエージェントゲーム開発のためのベンチマークである。 各実行は、編集されたシーンとシミュレーションされたプレイセッションの両方で実行可能チェックでスコアされる。 84のコアタスクにおいて,13のフロンティアモデルの通過率と探索行動を測定した。
  論文  参考訳（メタデータ） (2026-10-01T22:56:10Z)
• Never Stop Thinking: Continuous-Time Language Agents [0.33451037881913753]
  そこで本研究では,軽量な割り込み再生オーケストレータの下で,修正されていないテキストモデルから連続時間認知が出現することを示す。 継続的思考がエージェントの達成を向上するかどうかを測定するために、ReactiveBenchを導入します。
  論文  参考訳（メタデータ） (2026-07-11T14:42:13Z)
• GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
  GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。 2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。 18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
  論文  参考訳（メタデータ） (2026-04-08T17:49:03Z)
• EvoTest: Evolutionary Test-Time Learning for Self-Improving Agentic Systems [59.66823584073748]
  現在のAIエージェントの基本的な制限は、テスト時に複雑なスキルをその場で学べないことだ。 EvoTestは,エージェントの微調整や勾配を伴わずにエージェントを改良する,進化的テストタイム学習フレームワークである。
  論文  参考訳（メタデータ） (2025-10-15T07:16:28Z)
• FlashAdventure: A Benchmark for GUI Agents Solving Full Story Arcs in Diverse Adventure Games [56.81554611870848]
  我々はFlashAdventureを紹介した。これは、フルストーリーのアーク補完をテストするために設計された、34のFlashベースのアドベンチャーゲームのベンチマークである。 また,ゲームプレイの自動評価装置であるCUA-as-a-Judgeと,長期記憶を利用したエージェントフレームワークであるCOASTを提案する。 実験では、現在のGUIエージェントがフルストーリーのアークに苦しむのに対して、COASTは観察と振る舞いのギャップを埋めることでマイルストーンの完了を改善する。
  論文  参考訳（メタデータ） (2025-09-01T01:33:16Z)
• An Empirical Study on the Generalization Power of Neural Representations Learned via Visual Guessing Games [79.23847247132345]
  本研究は,視覚質問応答(VQA)のような新しいNLP下流タスクにおいて,後から実行を依頼されたとき,人工エージェントが推測ゲームでどの程度の利益を得ることができるかを検討する。 提案手法は,1) エージェントがうまく推理ゲームを模倣することを学習する教師あり学習シナリオ,2) エージェントが単独でプレイする新しい方法,すなわち,反復経験学習(SPIEL)によるセルフプレイ(Self-play)を提案する。
  論文  参考訳（メタデータ） (2021-01-31T10:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。