論文の概要: A Fast and Effective Solution to the Problem of Look-ahead Bias in LLMs

• arxiv url: http://arxiv.org/abs/2512.06607v1
• Date: Sun, 07 Dec 2025 00:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.429382
• Title: A Fast and Effective Solution to the Problem of Look-ahead Bias in LLMs
• Title（参考訳）: LLMにおけるルックアヘッドバイアス問題に対する迅速かつ効果的な解法
• Authors: Humzah Merchant, Bradford Levy,
• Abstract要約: 提案手法は,大規模ベースモデルのロジットを調整することにより,推論時の生成をガイドする。 本手法は,動詞と意味的知識の両方を効果的に除去し,バイアスを補正し,先行手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying LLMs to predictive tasks in finance is challenging due to look-ahead bias resulting from their training on long time-series data. This precludes the backtests typically employed in finance since retraining frontier models from scratch with a specific knowledge cutoff is prohibitive. In this paper, we introduce a fast, effective, and low-cost alternative. Our method guides generation at inference time by adjusting the logits of a large base model using a pair of smaller, specialized models -- one fine-tuned on information to be forgotten and another on information to be retained. We demonstrate that our method effectively removes both verbatim and semantic knowledge, corrects biases, and outperforms prior methods.
• Abstract（参考訳）: LLMを金融の予測タスクに適用することは、長期の時系列データでトレーニングした結果、ルックアヘッドバイアスが原因で困難である。 これは、特定の知識の遮断によってフロンティアモデルをゼロからトレーニングすることが禁じられているため、金融業界で一般的に使用されるバックテストを妨げる。 本稿では,高速で効果的で低コストな代替手段を提案する。 提案手法は,2つの小さな特化モデルを用いて,大規模ベースモデルのロジットを調整することにより,推定時の生成をガイドする。 本手法は,動詞と意味的知識の両方を効果的に除去し,バイアスを補正し,先行手法より優れていることを示す。

関連論文リスト

• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Adaptive Distraction: Probing LLM Contextual Robustness with Automated Tree Search [76.54475437069395]
  大きな言語モデル(LLM)は、意味的に一貫性があるがタスクに依存しないコンテキスト情報に直面している場合、元のパフォーマンスを維持するのに苦労することが多い。 本稿では,木探索に基づく動的散逸生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Large Language Models for Financial Aid in Financial Time-series Forecasting [0.4218593777811082]
  金融支援の時系列予測は、限られた歴史的データセットと高次元財務情報のために困難である。 我々は、従来のアプローチよりも優れた性能を示すために、事前訓練されたLPM(GPT-2をバックボーンとする)、トランスフォーマー、線形モデルなど、最先端の時系列モデルを用いている。
  論文  参考訳（メタデータ） (2024-10-24T12:41:47Z)
• LENS: Large Pre-trained Transformer for Exploring Financial Time Series Regularities [3.475989206546412]
  金融時系列の事前学習モデルである textbfLENS を提案する。 textbfLENSは、慎重に構築されたモデルアーキテクチャを通じて、金融システムの複雑さを効果的にキャプチャする。 我々の研究は、高雑音環境下で事前学習された時系列モデルの開発に関する実践的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-08-19T15:59:46Z)
• Dated Data: Tracing Knowledge Cutoffs in Large Language Models [47.987664966633865]
  LLMの資源レベルの時間的アライメントに有効なカットオフを推定するための簡単な手法を提案する。 効果的なカットオフは、報告されたカットオフとしばしば異なります。 提案手法は,(1)非自明なデータ量によるCommonCrawlデータの時間的偏りと,(2)意味的重複と語彙的近接重複を含むLLM重複の重複という2つの原因を明らかにした。
  論文  参考訳（メタデータ） (2024-03-19T17:57:58Z)
• Time-Series Imputation with Wasserstein Interpolation for Optimal Look-Ahead-Bias and Variance Tradeoff [66.59869239999459]
  ファイナンスでは、ポートフォリオ最適化モデルをトレーニングする前に、損失の計算を適用することができる。 インキュベーションのために全データセットを使用するルックアヘッドバイアスと、トレーニングデータのみを使用することによるインキュベーションの大きなばらつきとの間には、本質的にトレードオフがある。 提案手法は,提案法における差分とルックアヘッドバイアスのトレードオフを最適に制御するベイズ後部コンセンサス分布である。
  論文  参考訳（メタデータ） (2021-02-25T09:05:35Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。