論文の概要: FinForesight: A Diagnostic Backtesting Benchmark for Deep Research Systems in Financial Forecasting
- arxiv url: http://arxiv.org/abs/2611.01621v1
- Date: Sun, 01 Nov 2026 06:16:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.488453
- Title: FinForesight: A Diagnostic Backtesting Benchmark for Deep Research Systems in Financial Forecasting
- Title(参考訳): FinForesight:金融予測におけるディープリサーチシステムの診断バックテストベンチマーク
- Abstract要約: FinForesightは、金融深層研究システムの診断バックテストベンチマークである。
評価、リターンランキング、イベントの方向性、将来の財務基本の4つの予測タスクを評価する。
制御されたバックテストが将来の性能に近似するかどうかを検証するために,事前訓練後の,解決されたカットオフ,およびライブ評価を比較した。
- 参考スコア(独自算出の注目度): 13.80316081209323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Anticipating financial outcomes requires synthesizing evolving evidence and reasoning under uncertainty, making deep research systems promising tools for forecasting. Yet evaluating forecasting ability is challenging because historical backtests may reward memorized outcomes or information retrieved after the forecast date. Live forecasting avoids direct access to realized outcomes, but feedback arrives only after events resolve. To obtain timely feedback and assess historical scores, we introduce FinForesight, a diagnostic backtesting benchmark for financial deep research systems. Across the Chinese, U.S., and Hong Kong markets, the benchmark evaluates four forecasting tasks: valuation, return ranking, event direction, and future financial fundamentals. Two capability diagnostic tasks assess counterfactual reasoning and financial calculation, scored separately from forecasting performance. Our harness-compatible framework restricts retrieved evidence to information available at the forecast date. We compare pretraining-era, resolved post-cutoff, and live evaluations to test whether controlled backtests approximate future performance. Pretraining-era scores exceed post-cutoff scores in most temporal comparisons, and stronger retrieval controls narrow the gap between post-cutoff backtests and live results. Forecasting attribution and robustness analyses reveal how scores respond to retrieval policy and how predictions respond to prompt rewrites and numerical perturbations. The code and benchmark data are publicly available.
- Abstract(参考訳): 財政的な成果を予想するには、進化する証拠の合成と不確実性の下での推論が必要であり、深層研究システムは予測のためのツールを約束する。
しかし、過去のバックテストが記憶された結果や予測日後に回収された情報に報いる可能性があるため、予測能力を評価することは困難である。
ライブ予測は、実現した結果への直接的なアクセスを避けるが、フィードバックはイベントが解決した後にのみ到着する。
タイムリーなフィードバックと過去のスコアを評価するため,金融深層研究システムのための診断バックテストベンチマークFinForesightを紹介した。
中国、米国、香港の市場全体で、このベンチマークはバリュエーション、リターンランキング、イベントの方向性、将来の金融基本の4つの予測タスクを評価している。
2つの能力診断タスクは、予測性能から独立して得られた対実的推論と財務計算を評価する。
我々のハーネス互換フレームワークは、得られた証拠を予測日に利用可能な情報に制限する。
制御されたバックテストが将来の性能に近似するかどうかを検証するために,事前訓練後の,解決されたカットオフ,およびライブ評価を比較した。
プレトレーニング前のスコアは、ほとんどの時間比較において、カットオフ後のスコアを超え、強い検索コントロールは、カットオフ後のバックテストとライブ結果のギャップを狭める。
予測属性とロバスト性分析は、スコアが検索ポリシーにどのように反応し、予測が即時書き換えや数値摂動にどのように反応するかを明らかにする。
コードとベンチマークデータは公開されている。
関連論文リスト
- JockeyBench: Evaluating LLM Agents on Horse-Racing Decision-Making [51.28684419852576]
繰り返し発生する事象予測には、ノイズのある証拠から予測信号を抽出する必要がある。
本稿では,歴史的競馬を通じてこの問題を研究するベンチマークおよび評価プロトコルであるJockeyBenchを紹介する。
論文 参考訳(メタデータ) (2026-10-14T04:59:45Z) - Can Language Models Learn to Forecast Stock Prices [64.57057883175987]
ポストトレーニングでは、検証可能な結果のタスクにおける言語モデルの性能が大幅に向上することが示されている。
ポストトレーニングは、財務予測性能を大幅に改善できることを示す。
論文 参考訳(メタデータ) (2026-09-29T07:34:39Z) - FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting [8.891247829087936]
FinAbstainは、不確実性を校正したマルチモーダル検索拡張生成のためのフレームワークである。
ポイント・イン・タイム・レトリバーは、予測タイムスタンプで公開された情報のみを認め、基本、ニュース、技術、リスク、検証エージェントにモダリティ固有の証拠を提供する。
コントローラは、不確実性が検証された閾値以下である場合にのみ、強気、弱気または中立的な結果を予測する。
論文 参考訳(メタデータ) (2026-07-27T07:05:22Z) - Dr-CiK: A Testbed for Foresight-Driven Agents [58.303939183596015]
本稿では,文書コーパスから予測関連コンテキストを検索できるかどうかを評価するベンチマークであるDr-CiKを紹介する。
我々は,Dr-CiKの予測性能が,高品質な文脈で大幅に向上することを示す。
我々の研究は、未来を予測するための適切なコンテキストを探索するフォレスト駆動エージェントの研究を動機付けている。
論文 参考訳(メタデータ) (2026-05-27T03:26:42Z) - Statistical Inference for Score Decompositions [0.0]
本稿では,評価関数を3つの解釈可能な成分に分割するスコア分解法を提案する。
調査インフレ予測では,総合的な予測能力がない場合でも,識別能力は著しく異なることが判明した。
バックテストのパフォーマンスから予測精度を遠ざけることで、現在の銀行規制における重大な欠点を明らかにする。
論文 参考訳(メタデータ) (2026-03-04T16:57:08Z) - PROPHET: An Inferable Future Forecasting Benchmark with Causal Intervened Likelihood Estimation [46.3251656496956]
大規模言語モデル(LLM)に基づくシステムにおける最近の進歩は、将来の事象を予測する大きな可能性を示している。
イベント予測をRAG(Research-augmented Generation)と推論タスクとして形式化し,予測能力を評価するために,いくつかのベンチマークが確立されている。
本稿では,検索のための関連ニュースと組み合わせた予測可能な質問を含む新しいベンチマークPropPHETを提案する。
論文 参考訳(メタデータ) (2025-04-02T08:57:42Z) - Consistency Checks for Language Model Forecasters [54.62507816753479]
予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。
我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
論文 参考訳(メタデータ) (2024-12-24T16:51:35Z) - Sentiment-driven prediction of financial returns: a Bayesian-enhanced
FinBERT approach [1.131316248570352]
本研究では、FinBERT大言語モデルを用いて、ツイートから抽出した感情情報を活用する効果を示す。
この成功は、バックテストトレーディング中に明らかに高い累積利益をもたらす。
論文 参考訳(メタデータ) (2024-03-07T11:56:36Z) - Enhancing Mean-Reverting Time Series Prediction with Gaussian Processes:
Functional and Augmented Data Structures in Financial Forecasting [0.0]
本稿では,ガウス過程(GP)を基礎構造を持つ平均回帰時系列の予測に適用する。
GPは、平均予測だけでなく、将来の軌道上の確率分布全体を予測する可能性を提供する。
これは、不正なボラティリティ評価が資本損失につながる場合、正確な予測だけでは十分でない金融状況において特に有益である。
論文 参考訳(メタデータ) (2024-02-23T06:09:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。