論文の概要: A Test of Lookahead Bias in LLM Forecasts

• arxiv url: http://arxiv.org/abs/2512.23847v1
• Date: Mon, 29 Dec 2025 20:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.199861
• Title: A Test of Lookahead Bias in LLM Forecasts
• Title（参考訳）: LLM予報におけるLookahead Biasの検証
• Authors: Zhenyu Gao, Wenxi Jiang, Yutong Yan,
• Abstract要約: 大規模言語モデル(LLM)が生み出す経済予測のルックアヘッドバイアスを検出するテストを開発する。 最先端の事前学習データ検出技術を用いて、LLMのトレーニングコーパスに与えられたプロンプトが現れる可能性、すなわちLookahead Propensity (LAP) という統計学用語を推定する。 LAPと予測精度の正の相関は、ルックアヘッドバイアスの存在と大きさを示し、この試験を2つの予測課題に適用する。
• 参考スコア（独自算出の注目度）: 4.129225533930966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a statistical test to detect lookahead bias in economic forecasts generated by large language models (LLMs). Using state-of-the-art pre-training data detection techniques, we estimate the likelihood that a given prompt appeared in an LLM's training corpus, a statistic we term Lookahead Propensity (LAP). We formally show that a positive correlation between LAP and forecast accuracy indicates the presence and magnitude of lookahead bias, and apply the test to two forecasting tasks: news headlines predicting stock returns and earnings call transcripts predicting capital expenditures. Our test provides a cost-efficient, diagnostic tool for assessing the validity and reliability of LLM-generated forecasts.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)が生み出す経済予測のルックアヘッドバイアスを統計的に検出する手法を開発した。 最先端の事前学習データ検出技術を用いて、LLMのトレーニングコーパスに与えられたプロンプトが現れる確率を推定する。 LAPと予測精度の間に正の相関関係があることを正式に示し、このテストは2つの予測課題に適用する。 本テストは,LCM生成予測の有効性と信頼性を評価するための費用効率,診断ツールを提供する。

関連論文リスト

• The Forecast Critic: Leveraging Large Language Models for Poor Forecast Identification [74.64864354503204]
  本稿では,Large Language Models (LLM) を利用した予測自動監視システムであるThe Forecast Criticを提案する。 LLMの時系列予測品質を評価する能力を評価する。 合成および実世界の予測データを含む3つの実験を行った。
  論文  参考訳（メタデータ） (2025-12-12T21:59:53Z)
• Mitigating Spurious Correlations in LLMs via Causality-Aware Post-Training [57.03005244917803]
  大規模言語モデル (LLMs) は、事前学習中に得られた素早い相関関係により、アウト・オブ・ディストリビューション (OOD) のサンプルで失敗することが多い。 ここでは、因果認識後学習(CAPT)を通して、このような素因的相関を緩和することを目的とする。 公式因果推論ベンチマークCLadderと論理推論データセットPrOntoQAの実験により、CAPTで微調整された3Bスケールの言語モデルでは、従来のSFTおよびより大きなLLMを分散処理(ID)およびOODタスクで上回る結果が得られた。
  論文  参考訳（メタデータ） (2025-06-11T06:30:28Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Can Language Models Use Forecasting Strategies? [14.332379032371612]
  実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。 モデルはまだ、未来に関する正確な予測に苦戦している。
  論文  参考訳（メタデータ） (2024-06-06T19:01:42Z)
• Enhancing Mean-Reverting Time Series Prediction with Gaussian Processes: Functional and Augmented Data Structures in Financial Forecasting [0.0]
  本稿では,ガウス過程(GP)を基礎構造を持つ平均回帰時系列の予測に適用する。 GPは、平均予測だけでなく、将来の軌道上の確率分布全体を予測する可能性を提供する。 これは、不正なボラティリティ評価が資本損失につながる場合、正確な予測だけでは十分でない金融状況において特に有益である。
  論文  参考訳（メタデータ） (2024-02-23T06:09:45Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。