論文の概要: DatedGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining

• arxiv url: http://arxiv.org/abs/2603.11838v1
• Date: Thu, 12 Mar 2026 12:04:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.055295
• Title: DatedGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining
• Title（参考訳）: DatedGPT: 時間を考慮した事前学習による大規模言語モデルにおけるルックアヘッドバイアスの防止
• Authors: Yutong Yan, Raphael Tang, Zhenyu Gao, Wenxi Jiang, Yao Lu,
• Abstract要約: 我々は12の言語モデルのファミリーであるDatedGPTを紹介し、それぞれが約1000億の時間分割データに対してゼロからトレーニングを行った。 複雑度に基づく探索は、各モデルの知識がデータ遮断年によって効果的に束縛されていることを確認します。 私たちはインタラクティブなWebデモを提供しており、ユーザーはさまざまなカットオフ期間のモデルからの応答をクエリして比較することができます。
• 参考スコア（独自算出の注目度）: 11.689889880795514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In financial backtesting, large language models pretrained on internet-scale data risk introducing lookahead bias that undermines their forecasting validity, as they may have already seen the true outcome during training. To address this, we present DatedGPT, a family of twelve 1.3B-parameter language models, each trained from scratch on approximately 100 billion tokens of temporally partitioned data with strict annual cutoffs spanning 2013 to 2024. We further enhance each model with instruction fine-tuning on both general-domain and finance-specific datasets curated to respect the same temporal boundaries. Perplexity-based probing confirms that each model's knowledge is effectively bounded by its data cutoff year, while evaluation on standard benchmarks shows competitive performance with existing models of similar scale. We provide an interactive web demo that allows users to query and compare responses from models across different cutoff years.
• Abstract（参考訳）: 金融バックテストでは、インターネット規模のデータリスクに基づいて事前訓練された大きな言語モデルが、予測の妥当性を損なうルックアヘッドバイアスを導入している。 この問題を解決するために、12の1.3Bパラメーター言語モデルのファミリーであるDatedGPTを紹介し、それぞれ2013年から2024年までの厳格な年次カットオフで、約1000億の時間分割データをスクラッチからトレーニングした。 また,時間的境界を考慮に入れた一般ドメインと金融特化データセットの両方を微調整することで,各モデルをさらに強化する。 Perplexity-based Probing は、各モデルの知識がデータ遮断年によって効果的に束縛されていることを確認し、標準ベンチマークでは、同様のスケールの既存モデルと競合する性能を示している。 私たちはインタラクティブなWebデモを提供しており、ユーザーはさまざまなカットオフ期間のモデルからの応答をクエリして比較することができます。

関連論文リスト

• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• Breaking Silos: Adaptive Model Fusion Unlocks Better Time Series Forecasting [64.45587649141842]
  時系列予測は多くの現実世界のアプリケーションにおいて重要な役割を果たす。 1つのモデルは、異なるテストサンプルで一貫して他よりも優れていますが、(ii) それぞれのモデルは特定のケースで優れています。 異種モデルのサンプルレベル適応融合による時系列予測のためのフレームワークであるTimeFuseを紹介する。
  論文  参考訳（メタデータ） (2025-05-24T00:45:07Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Recency-Weighted Temporally-Segmented Ensemble for Time-Series Modeling [0.0]
  プロセス産業における時系列モデリングは、複雑で多面的で進化するデータ特性を扱うという課題に直面している。 マルチステップ予測のための新しいチャンクベースアプローチであるRecency-Weighted Temporally-Segmented(ReWTS)アンサンブルモデルを導入する。 ノルウェーの排水処理場と飲料水処理場からの2年間のデータをもとに,比較分析を行った。
  論文  参考訳（メタデータ） (2024-03-04T16:00:35Z)
• Unified Long-Term Time-Series Forecasting Benchmark [0.6526824510982802]
  本稿では,時系列予測のための包括的データセットを提案する。 多様な動的システムと実生活記録から得られたデータセットのコレクションを組み込んだ。 多様なシナリオにおいて最も効果的なモデルを決定するために、古典的および最先端のモデルを用いて広範なベンチマーク分析を行う。 本研究は,これらのモデルの性能比較を興味深いものにし,モデルの有効性のデータセット依存性を強調した。
  論文  参考訳（メタデータ） (2023-09-27T18:59:00Z)
• EAMDrift: An interpretable self retrain model for time series [0.0]
  EAMDrift(EAMDrift)は、複数の個人予測器から予測を合成し、性能指標に従って予測を重み付けする新しい手法である。 EAMDriftはデータのアウト・オブ・ディストリビューションパターンに自動的に適応し、各瞬間に使用する最も適切なモデルを特定するように設計されている。 本研究は,EAMDriftが個々のベースラインモデルより20%優れ,非解釈可能なアンサンブルモデルに匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:25:26Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。