論文の概要: A Fast and Effective Solution to the Problem of Look-ahead Bias in LLMs

• arxiv url: http://arxiv.org/abs/2512.06607v1
• Date: Sun, 07 Dec 2025 00:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.429382
• Title: A Fast and Effective Solution to the Problem of Look-ahead Bias in LLMs
• Title（参考訳）: LLMにおけるルックアヘッドバイアス問題に対する迅速かつ効果的な解法
• Authors: Humzah Merchant, Bradford Levy,
• Abstract要約: 提案手法は,大規模ベースモデルのロジットを調整することにより,推論時の生成をガイドする。 本手法は,動詞と意味的知識の両方を効果的に除去し,バイアスを補正し,先行手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying LLMs to predictive tasks in finance is challenging due to look-ahead bias resulting from their training on long time-series data. This precludes the backtests typically employed in finance since retraining frontier models from scratch with a specific knowledge cutoff is prohibitive. In this paper, we introduce a fast, effective, and low-cost alternative. Our method guides generation at inference time by adjusting the logits of a large base model using a pair of smaller, specialized models -- one fine-tuned on information to be forgotten and another on information to be retained. We demonstrate that our method effectively removes both verbatim and semantic knowledge, corrects biases, and outperforms prior methods.
• Abstract（参考訳）: LLMを金融の予測タスクに適用することは、長期の時系列データでトレーニングした結果、ルックアヘッドバイアスが原因で困難である。 これは、特定の知識の遮断によってフロンティアモデルをゼロからトレーニングすることが禁じられているため、金融業界で一般的に使用されるバックテストを妨げる。 本稿では,高速で効果的で低コストな代替手段を提案する。 提案手法は,2つの小さな特化モデルを用いて,大規模ベースモデルのロジットを調整することにより,推定時の生成をガイドする。 本手法は,動詞と意味的知識の両方を効果的に除去し,バイアスを補正し,先行手法より優れていることを示す。

関連論文リスト

• Adaptive Distraction: Probing LLM Contextual Robustness with Automated Tree Search [76.54475437069395]
  大きな言語モデル(LLM)は、意味的に一貫性があるがタスクに依存しないコンテキスト情報に直面している場合、元のパフォーマンスを維持するのに苦労することが多い。 本稿では,木探索に基づく動的散逸生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Time-Series Imputation with Wasserstein Interpolation for Optimal Look-Ahead-Bias and Variance Tradeoff [66.59869239999459]
  ファイナンスでは、ポートフォリオ最適化モデルをトレーニングする前に、損失の計算を適用することができる。 インキュベーションのために全データセットを使用するルックアヘッドバイアスと、トレーニングデータのみを使用することによるインキュベーションの大きなばらつきとの間には、本質的にトレードオフがある。 提案手法は,提案法における差分とルックアヘッドバイアスのトレードオフを最適に制御するベイズ後部コンセンサス分布である。
  論文  参考訳（メタデータ） (2021-02-25T09:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。