論文の概要: OracleProto: A Reproducible Framework for Benchmarking LLM Native Forecasting via Knowledge Cutoff and Temporal Masking

• arxiv url: http://arxiv.org/abs/2605.03762v1
• Date: Tue, 05 May 2026 13:50:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.957496
• Title: OracleProto: A Reproducible Framework for Benchmarking LLM Native Forecasting via Knowledge Cutoff and Temporal Masking
• Title（参考訳）: OracleProto:ナレッジカットオフとテンポラルマスキングによるLLMネイティブ予測のベンチマークのための再現可能なフレームワーク
• Authors: Yiding Ma, Chengyun Ruan, Kaibo Huang, Zhongliang Yang, Linna Zhou,
• Abstract要約: OracleProtoは、大規模言語モデルのネイティブ予測機能を評価するためのフレームワークである。 モデルカットオフ整列サンプルの入場、ツールレベルの時間マスキング、コンテンツレベルの漏洩検出、解答正規化、階層的スコアリングを組み合わせることで、解決した事象を時間境界予測サンプルに再構成する。 公平なクロスモデル比較のための統一インターフェースと、下流SFTとRLのための制御信号源を提供する。
• 参考スコア（独自算出の注目度）: 17.407881336351597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are moving from static text generators toward real-world decision-support systems, where forecasting is a composite capability that links information gathering, evidence integration, situational judgment, and action-oriented decision making. This capability is in broad demand across finance, policy, industry, and scientific research, yet its evaluation remains difficult: live benchmarks evaluate forecasts before answers exist, making them the cleanest way to measure forecasting ability, but they expire once events resolve; retrospective benchmarks are reproducible, but they cannot reliably distinguish genuine forecasting from facts a model may have already learned during pretraining. Prompting models to "pretend not to know" cannot replace a genuine knowledge boundary. We propose OracleProto, a reproducible framework for evaluating LLM native forecasting capability. OracleProto reconstructs resolved events into time-bounded forecasting samples by combining model-cutoff-aligned sample admission, tool-level temporal masking, content-level leakage detection, discrete answer normalization, and hierarchical scoring. Instantiated on a FutureX-Past-derived dataset with six contemporary LLMs, OracleProto distinguishes forecasting quality, sampling stability, and cost efficiency under controlled information boundaries, while reducing residual leakage to the $1\%$ level, an order of magnitude below tool-only temporal filtering. OracleProto turns LLM forecasting from one-off evaluation into an auditable, reusable, and trainable dataset-level capability, providing a unified interface for fair cross-model comparison and a controlled signal source for downstream SFT and RL. Code and data are available at https://github.com/MaYiding/OracleProto and https://huggingface.co/datasets/MaYiding/OracleProto.
• Abstract（参考訳）: 大規模な言語モデルは、静的テキストジェネレータから現実の意思決定支援システムへと移行しており、予測は情報収集、証拠統合、状況判断、行動指向意思決定を結びつける複合機能である。 この能力は金融、政策、産業、科学研究で広く要求されているが、その評価は難しい。ライブベンチマークは答えが存在する前に予測を評価し、予測能力を測定する最もクリーンな方法であるが、イベントが解決すれば期限が切れる。 モデルに「知るな」ことを促すことは、真の知識境界を置き換えることはできない。 我々は,LLMネイティブ予測機能を評価する再現可能なフレームワークであるOracleProtoを提案する。 OracleProtoは、解決されたイベントを、モデルカットオフアラインのサンプル入力、ツールレベルの時間マスキング、コンテントレベルのリーク検出、離散回答正規化、階層的なスコアを組み合わせることで、時間境界の予測サンプルに再構成する。 OracleProtoは、FutureX-Past由来のデータセットを6つの現代的なLCMで検証し、制御された情報境界下での予測品質、サンプリング安定性、コスト効率を区別すると同時に、残留リークをツールのみの時間的フィルタリングの桁違いである$1\%のレベルまで低減する。 OracleProtoは、LLM予測をワンオフ評価から監査可能、再利用可能な、トレーニング可能なデータセットレベルの機能に転換し、公正なクロスモデル比較のための統一インターフェースと、下流SFTおよびRLのための制御信号ソースを提供する。 コードとデータはhttps://github.com/MaYiding/OracleProtoとhttps://huggingface.co/datasets/MaYiding/OracleProtoで入手できる。

関連論文リスト

• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• T-LLM: Teaching Large Language Models to Forecast Time Series via Temporal Distillation [7.6933817667680096]
  時系列予測は多くの現実世界のアプリケーションにおいて意思決定において重要な役割を果たす。 本稿では,汎用言語モデルと時系列予測機能を組み合わせた時空間蒸留フレームワークT-LLMを提案する。
  論文  参考訳（メタデータ） (2026-02-02T10:40:27Z)
• Is More Context Always Better? Examining LLM Reasoning Capability for Time Interval Prediction [15.45305246863211]
  大規模言語モデル(LLM)は、異なるドメインをまたいだ推論と予測において印象的な能力を示している。 本稿では,LLMが繰り返しユーザの行動の時間間隔を予測できるかどうかを系統的に検討する。 我々は、統計モデルと機械学習モデルの両方に対してゼロショット設定で最先端のLCMをベンチマークする。
  論文  参考訳（メタデータ） (2026-01-15T07:18:40Z)
• Are LLMs Prescient? A Continuous Evaluation using Daily News as the Oracle [13.192628306219248]
  本研究では,大規模言語モデルの時間的一般化と予測能力を評価するための連続評価手法として,将来の事象予測を提案する。 私たちのベンチマークであるDaily Oracleは、毎日のニュースから質問と回答のペアを自動的に生成します。
  論文  参考訳（メタデータ） (2024-11-13T04:20:20Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
  時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 テキストによる微調整 LLM は性能を著しく向上させることができる。 しかし、LLMでは人気バイアスやロングテール問題などの問題が続いている。
  論文  参考訳（メタデータ） (2024-07-16T11:58:54Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。