論文の概要: GIFT-Eval-CTX: A Benchmark For Contextual Forecasting Model Evaluation

• arxiv url: http://arxiv.org/abs/2610.17794v1
• Date: Tue, 13 Oct 2026 06:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.533439
• Title: GIFT-Eval-CTX: A Benchmark For Contextual Forecasting Model Evaluation
• Title（参考訳）: GIFT-Eval-CTX:文脈予測モデル評価のためのベンチマーク
• Abstract要約: GIFT-Eval-CTXは数値軌道予測のベンチマークである。 GIFT-Eval-CTXには、20データセットにわたる10,000のインスタンスが含まれている。 構造的効果により、GPT-5.6ゾルでは40.7%、クロードオプス4.8では29.6%の集合相対性MASEが減少する。
• 参考スコア（独自算出の注目度）: 54.762166226411956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextual forecasting seeks to improve time series forecasting by incorporating forward-looking information, such as planned events, external conditions, and expert expectations. However, reliable evaluation remains difficult: existing benchmarks often have limited domain coverage, lack standardized history-future splits, or provide text that is not guaranteed to inform the future. We introduce GIFT-Eval-CTX, a benchmark that isolates whether forecasting methods can translate verified future information into accurate numerical trajectories. Built upon GIFT-Eval, GIFT-Eval-CTX contains 10,000 instances across 20 datasets. Each instance provides structured effects derived from the realized future: Macro effects describe horizon-wide behavior, while Micro effects specify localized changes. We construct these annotations with an agentic pipeline combining LLM-based discovery and deterministic code validation. We benchmark TSFMs, frontier LLMs, and tool-using agentic systems. The results show that structured effects reduce aggregate relative MASE by 40.7% for GPT-5.6 Sol and 29.6% for Claude Opus 4.8 relative to history-only prompting. The evaluated MoiraiAgent system achieves the best overall result. We further analyze the contributions of structured effects and agentic systems to performance, and identify opportunities for future research.
• Abstract（参考訳）: コンテキスト予測は、計画されたイベント、外部条件、専門家の期待など、先見的な情報を取り入れることで時系列予測を改善することを目指している。 既存のベンチマークはドメインカバレッジが制限されていること、標準化された履歴と将来の分割がないこと、将来を知らせる保証のないテキストを提供することが多い。 GIFT-Eval-CTXは,予測手法が検証後の情報を正確な数値軌道に変換することができるかどうかを識別するベンチマークである。 GIFT-Evalをベースに構築されたGIFT-Eval-CTXには、20のデータセットに1万のインスタンスが含まれている。 マクロエフェクトは地平線全体の振る舞いを記述し、ミクロエフェクトは局所的な変化を規定する。 LLMに基づく発見と決定論的コード検証を組み合わせたエージェントパイプラインでこれらのアノテーションを構築する。 TSFM,フロンティアLSM,ツール利用エージェントシステムのベンチマークを行う。 その結果、構造化された効果により、GPT-5.6ゾルでは40.7%、クロードオプス4.8では29.6%の相対的なMASEが減少することがわかった。 評価されたMoiraiAgentシステムは、最高の総合的な結果を得る。 さらに、構造化効果とエージェントシステムのパフォーマンスへの貢献を分析し、今後の研究の機会を明らかにする。

関連論文リスト

• When Does Text Inform? Benchmarking Information-Theoretic Metrics for Multimodal Time-Series Forecasting [3.2383538639888836]
  情報理論のメトリクスがアノテーションが提供する予測値を確実に測定できるかどうかを評価する。 我々は、意味論的に正しい、正しくない、無関係な3つのカテゴリにアノテーションを付加した合成時系列信号を作成する。 その結果、6つの推定器が正しいアノテーションを最も有益であると認識し、混合テキストコーパスの品質を評価できることが判明した。
  論文  参考訳（メタデータ） (2026-09-10T09:15:47Z)
• LLM-based Agents for Forecasting and Prediction: Methods, Training, Evaluation, and Applications [76.41731220830714]
  大規模言語モデル(LLM)は、言語ベースの推論と時間的データ、エビデンス検索、外部ツール、反復予測を組み合わせた予測システムをサポートするようになった。 ファイナンス、天気、健康、エネルギー、オペレーションの応用について検討し、評価に使用されるベンチマークとデータセットを要約する。
  論文  参考訳（メタデータ） (2026-08-24T10:02:39Z)
• RAVEN: A Regime-Aware Variable-context Expert Network for Financial Time Series Forecasting [83.06074370551887]
  固定コンテキストウィンドウは、非定常価格プロセスの時間変化最適振り返りと一致しない。 本稿では,各サンプルの時間的文脈を適応的に決定するMixture-of-Expertsフレームワークを提案する。 累積ログリターン予測(HS300、S&P500)およびファンド販売予測の実験では、RAVENはSOTAのパフォーマンスを達成し、HS300ではピアソン相関を9.2%改善し、S&P500では20.2%改善し、MSEを18.2%削減している。
  論文  参考訳（メタデータ） (2026-06-23T02:11:04Z)
• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• OracleProto: A Reproducible Framework for Benchmarking LLM Native Forecasting via Knowledge Cutoff and Temporal Masking [17.407881336351597]
  OracleProtoは、大規模言語モデルのネイティブ予測機能を評価するためのフレームワークである。 モデルカットオフ整列サンプルの入場、ツールレベルの時間マスキング、コンテンツレベルの漏洩検出、解答正規化、階層的スコアリングを組み合わせることで、解決した事象を時間境界予測サンプルに再構成する。 公平なクロスモデル比較のための統一インターフェースと、下流SFTとRLのための制御信号源を提供する。
  論文  参考訳（メタデータ） (2026-05-05T13:50:50Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• It's TIME: Towards the Next Generation of Time Series Forecasting Benchmarks [87.7937890373758]
  時系列基礎モデル(TSFM)は,特定のデータセットモデルから一般化可能なタスク評価に至るまで,予測環境に革命をもたらしている。 我々は、50の新しいデータセットと98の予測タスクからなる次世代タスク中心のベンチマークであるTIMEを紹介する。 静的なメタラベルに基づく従来のデータセットレベルの評価を超える新しいパターンレベルの評価視点を提案する。
  論文  参考訳（メタデータ） (2026-02-12T16:31:01Z)
• Integrating AI and Ensemble Forecasting: Explainable Materials Planning with Scorecards and Trend Insights for a Large-Scale Manufacturer [0.45687771576879593]
  本稿では,アフターセール需要予測とモニタリングのための実用的アーキテクチャを提案する。 統計モデル、機械学習モデル、ディープラーニングモデルの、収益とクラスタ対応のアンサンブルを統合する。 システムは90か国以上、約6,000の部品の予測、監視、在庫決定のループを閉じる。
  論文  参考訳（メタデータ） (2025-10-01T15:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。