論文の概要: FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

• arxiv url: http://arxiv.org/abs/2508.11987v2
• Date: Tue, 19 Aug 2025 01:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 13:30:22.881967
• Title: FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction
• Title（参考訳）: FutureX: 将来予測のためのLLMエージェントの高度なライブベンチマーク
• Authors: Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang,
• Abstract要約: FutureXは、将来の予測のための最大かつ最も多様なライブベンチマークである。 リアルタイムの日次更新をサポートし、質問収集と回答収集のための自動パイプラインを通じてデータの汚染を取り除く。 推論,検索機能,外部ツールの統合などを含む25のLLM/エージェントモデルを評価した。
• 参考スコア（独自算出の注目度）: 84.43012743968283
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Future prediction is a complex task for LLM agents, requiring a high level of analytical thinking, information gathering, contextual understanding, and decision-making under uncertainty. Agents must not only gather and interpret vast amounts of dynamic information but also integrate diverse data sources, weigh uncertainties, and adapt predictions based on emerging trends, just as human experts do in fields like politics, economics, and finance. Despite its importance, no large-scale benchmark exists for evaluating agents on future prediction, largely due to challenges in handling real-time updates and retrieving timely, accurate answers. To address this, we introduce $\textbf{FutureX}$, a dynamic and live evaluation benchmark specifically designed for LLM agents performing future prediction tasks. FutureX is the largest and most diverse live benchmark for future prediction, supporting real-time daily updates and eliminating data contamination through an automated pipeline for question gathering and answer collection. We evaluate 25 LLM/agent models, including those with reasoning, search capabilities, and integration of external tools such as the open-source Deep Research Agent and closed-source Deep Research models. This comprehensive evaluation assesses agents' adaptive reasoning and performance in dynamic environments. Additionally, we provide in-depth analyses of agents' failure modes and performance pitfalls in future-oriented tasks, including the vulnerability to fake web pages and the temporal validity. Our goal is to establish a dynamic, contamination-free evaluation standard that drives the development of LLM agents capable of performing at the level of professional human analysts in complex reasoning and predictive thinking.
• Abstract（参考訳）: 将来の予測はLLMエージェントにとって複雑なタスクであり、高いレベルの分析的思考、情報収集、文脈的理解、不確実性の下での意思決定を必要とする。 エージェントは大量のダイナミック情報を収集し、解釈するだけでなく、多様なデータソースを統合し、不確実性を考慮し、政治、経済学、金融といった分野において人間の専門家が行っているように、新たなトレンドに基づいて予測を適用する必要がある。 その重要性にもかかわらず、エージェントを将来の予測で評価するための大規模なベンチマークは存在しない。 これを解決するために、将来の予測タスクを実行するLLMエージェント用に特別に設計された動的でライブな評価ベンチマークである$\textbf{FutureX}$を紹介した。 FutureXは、将来の予測のための最大かつ最も多様なライブベンチマークであり、リアルタイムの日次更新をサポートし、質問収集と回答収集のための自動パイプラインを通じてデータ汚染を取り除く。 我々は、推論、検索機能、オープンソースのDeep Research AgentやクローズドソースのDeep Researchモデルといった外部ツールの統合を含む25のLCM/エージェントモデルを評価した。 この総合評価は、動的環境におけるエージェントの適応的推論と性能を評価する。 さらに,フェールWebページの脆弱性や時間的妥当性など,エージェントの障害モードやパフォーマンスの落とし穴を詳細に分析する。 我々のゴールは、複雑な推論や予測的思考において専門家のレベルに到達できるLSMエージェントの開発を促進する、動的で汚染のない評価基準を確立することである。

関連論文リスト

• InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
  InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。 本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。 本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-05-21T14:44:40Z)
• Survey on Evaluation of LLM-based Agents [28.91672694491855]
  LLMベースのエージェントの出現は、AIのパラダイムシフトを表している。 本稿では,これらのエージェントに対する評価手法に関する総合的な調査を初めて実施する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:23Z)
• FinRobot: AI Agent for Equity Research and Valuation with Large Language Models [6.2474959166074955]
  本稿では、エクイティリサーチに特化したAIエージェントフレームワークであるFinRobotについて述べる。 FinRobotはマルチエージェント・チェーン・オブ・シント(CoT)システムを採用し、定量分析と定性的分析を統合し、人間のアナリストの包括的な推論をエミュレートする。 CapitalCubeやWright Reportsのような既存の自動研究ツールとは異なり、FinRobotは大手ブローカー会社や基礎研究ベンダーと同等の洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-13T17:38:07Z)
• MIRAI: Evaluating LLM Agents for Event Forecasting [22.524158637977]
  我々は,国際イベントの文脈において,LLMエージェントを時間予測器として評価するための新しいベンチマークであるMIRAIを紹介する。 本ベンチマークでは,歴史的,構造化されたイベントやテキストニュース記事の広範なデータベースにアクセスするためのツールを備えたエージェント環境を特徴とする。 まとめると、MIRAIはエージェントの能力を3つの次元で総合的に評価する。1) 大規模グローバルデータベースから重要な情報を自律的にソースし統合すること、2) ドメイン固有のAPIとツール使用のためのライブラリを使ってコードを書くこと、3) 多様なフォーマットや時間から歴史的知識を共同で引き継ぎ、将来的な事象を正確に予測すること。
  論文  参考訳（メタデータ） (2024-07-01T12:22:46Z)
• F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
  本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。 タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。 従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
  論文  参考訳（メタデータ） (2024-06-23T21:28:50Z)
• Approaching Human-Level Forecasting with Language Models [34.202996056121]
  我々は,言語モデル(LM)が競争力のある人間の予測能力のレベルで予測できるかどうかを検討した。 本研究では,関連する情報を自動的に検索し,予測を生成し,予測を集約する検索拡張型LMシステムを開発した。
  論文  参考訳（メタデータ） (2024-02-28T18:54:18Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Deep Reinforcement and InfoMax Learning [32.426674181365456]
  本稿では,Deep InfoMaxに基づく目標について紹介する。これはエージェントが連続した時間ステップの内部表現間の相互情報を最大化し,未来を予測することを訓練するものである。 提案手法をいくつかの合成条件で検証し,将来予測可能な表現の学習に成功した。
  論文  参考訳（メタデータ） (2020-06-12T14:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。