論文の概要: FutureSim: Replaying World Events to Evaluate Adaptive Agents
- arxiv url: http://arxiv.org/abs/2605.15188v1
- Date: Thu, 14 May 2026 17:59:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:35.015979
- Title: FutureSim: Replaying World Events to Evaluate Adaptive Agents
- Title（参考訳）: FutureSim: 適応エージェントを評価するためのワールドイベントのリプレイ
- Authors: Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko, Jonas Geiping,
- Abstract要約: 我々はFutureSimを構築し、エージェントは世界の時系列的なリプレイと対話しながら、知識の遮断を越えて世界の出来事を予測する。
FutureSimは、その能力の明確な分離を明らかにし、最高のエージェントの精度は25%であり、多くは予測を全く行わずにBrierのスキルスコアが劣っている。
全体として、我々のベンチマーク設計は、現実世界の長い時間軸にまたがるオープンエンド適応において、AIの進歩を測定するための道を開くことを願っている。
- 参考スコア（独自算出の注目度）: 69.52411849743358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are being increasingly deployed in dynamic, open-ended environments that require adapting to new information as it arrives. To efficiently measure this capability for realistic use-cases, we propose building grounded simulations that replay real-world events in the order they occurred. We build FutureSim, where agents forecast world events beyond their knowledge cutoff while interacting with a chronological replay of the world: real news articles arriving and questions resolving over the simulated period. We evaluate frontier agents in their native harness, testing their ability to predict world events over a three-month period from January to March 2026. FutureSim reveals a clear separation in their capabilities, with the best agent's accuracy being 25%, and many having worse Brier skill score than making no prediction at all. Through careful ablations, we show how FutureSim offers a realistic setting to study emerging research directions like long-horizon test-time adaptation, search, memory, and reasoning about uncertainty. Overall, we hope our benchmark design paves the way to measure AI progress on open-ended adaptation spanning long time-horizons in the real world.
- Abstract（参考訳）: AIエージェントは、到着時に新しい情報に適応する必要がある動的でオープンな環境にますますデプロイされている。
現実的なユースケースにおいて,この能力を効果的に測定するために,実際の事象を発生順に再現する基礎シミュレーションを構築することを提案する。
我々はFutureSimを構築し、エージェントは世界の時系列的なリプレイと対話しながら、知識の遮断を越えて世界の出来事を予測する。
我々は,2026年1月から3月までの3カ月間,世界の出来事を予測する能力について,彼らのネイティブハーネスにおけるフロンティアエージェントの評価を行った。
FutureSimは、その能力の明確な分離を明らかにし、最高のエージェントの精度は25%であり、多くは予測を全く行わずにBrierのスキルスコアが劣っている。
注意深い議論を通じて、FutureSimは、長期的なテストタイム適応、検索、記憶、不確実性についての推論など、新たな研究方向性を研究するための現実的な設定を提供していることを示す。
全体として、我々のベンチマーク設計は、現実世界の長い時間軸にまたがるオープンエンド適応において、AIの進歩を測定するための道を開くことを願っている。
関連論文リスト
- FutureWorld: A Live Reinforcement Learning Environment for Predictive Agents with Real-World Outcome Rewards [20.541743597851177]
本稿では,予測,結果実現,パラメータ更新の間のトレーニングループを閉鎖するエージェント強化学習環境であるFutureWorldを紹介する。
3つのオープンソースエージェント、連続したFutureWorldトレーニングラウンドは、予測精度、確率的スコアリング、キャリブレーションを一貫して改善する。
論文 参考訳（メタデータ） (2026-04-29T14:34:45Z) - World Reasoning Arena [36.28720055069025]
WR-Arenaは、次世代シミュレーションの3つの基本的な次元に沿って世界モデルを評価するためのベンチマークである。
タスク分類を構築し、これらの能力を調査するために設計された多様なデータセットをキュレートします。
その結果、現在のモデルと人間レベルの仮説的推論との間には大きなギャップがあることがわかった。
論文 参考訳（メタデータ） (2026-03-26T20:22:52Z) - Current Agents Fail to Leverage World Model as Tool for Foresight [61.82522354207919]
エージェントは、行動する前に結果を予測するためにそれらを使用できます。
本稿では,現在のエージェントがそのような世界モデルを,認知力を高めるツールとして活用できるかどうかを実証的に検討する。
論文 参考訳（メタデータ） (2026-01-07T13:15:23Z) - Dyna-Mind: Learning to Simulate from Experience for Better AI Agents [62.21219817256246]
私たちは、現在のAIエージェントは、行動する前に、別の未来を精神的にシミュレートする能力である「悪意ある試行錯誤」を必要としていると論じます。
我々は、(V)LMエージェントに対して、そのようなシミュレーションを推論に組み込むように明示的に教える2段階のトレーニングフレームワークであるDyna-Mindを紹介した。
論文 参考訳（メタデータ） (2025-10-10T17:30:18Z) - Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [22.077058792635313]
被覆経路計画は、制限された地域の自由空間全体をカバーする経路を見つける問題である。
本稿では,この課題に対する連続空間強化学習の有効性について検討する。
提案手法は従来のRLに基づく手法と高度に専門化された手法の両方の性能を上回ることを示す。
論文 参考訳（メタデータ） (2024-06-07T13:24:19Z) - Predictive World Models from Real-World Partial Observations [66.80340484148931]
本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。
従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
論文 参考訳（メタデータ） (2023-01-12T02:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。