論文の概要: LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting

• arxiv url: http://arxiv.org/abs/2611.06808v1
• Date: Wed, 04 Nov 2026 17:24:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.215882
• Title: LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting
• Title（参考訳）: LLMは自分たちの知っていることを知らない。金融バックテストのための時間的自己知識のベンチマーク
• Abstract要約: FinDendroは、1999年から2026年までの米国の事実に関する2,226のベンチマークである。 持続性と支配的な結果の制御は、確率の精度を0.27近く維持する。 モデルのトレーニングウィンドウ内のバックテストは、自己レポートや命令、あるいは記載されたカットオフによって、リークフリーの認定を受けることはできない。
• 参考スコア（独自算出の注目度）: 63.39394792152896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Financial backtests of large language models (LLMs) are meaningful only if the model did not already know the outcomes it is asked to predict. Practitioners guard against this by trusting a vendor's stated knowledge cutoff, by asking the model what it knows, or by instructing it to answer as of a past date. To verify whether any of these safeguards can be trusted, we introduce FinDendro, a benchmark of 2,226 dated U.S. facts from 1999 to 2026, covering monthly macroeconomic series, month-end stock prices and Federal Reserve decisions. Each fact yields four prompts: a value question, Recall and Predict questions that pair each candidate value with a claim of knowing or guessing without a declared date, and a Predict question with a historical declared date. Controls for persistence and dominant outcomes keep chance accuracy near 0.27. Results show that for most frontier models, self-reports understate knowledge. GPT-5 answers 76% of controlled facts correctly but claims to know 38%, and answers 61% of the facts it says it does not know. Knowledge claims can persist beyond the measured knowledge boundary, by up to seven quarters, and a declared date removes most of the claims of prior knowledge while leaving accuracy unchanged. Backtests inside a model's training window therefore cannot be certified leak-free by self-report, instruction or stated cutoff. These findings motivate behavioral measurement of temporal knowledge boundaries, and FinDendro provides a benchmark and procedure for selecting backtest periods based on demonstrated factual knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)の財務的バックテストは、モデルが予測される結果がまだ分かっていない場合にのみ意味を持つ。 ベンダーの主張する知識の遮断を信頼したり、モデルに何を知っているかを尋ねたり、過去の日付で答えるように指示したりすることで、実践者はこれを防ぎます。 1999年から2026年にかけて米国が実施した2,226件の米国事実のベンチマークであるFinDendroを紹介し、毎月のマクロ経済シリーズ、月末の株価、連邦準備制度理事会(FRB)の決定を取り上げている。 それぞれの事実は、4つのプロンプトを与える: 値の質問、各候補の値を宣言された日付なしに知るか推測するクレームと組み合わせるリコールと予測の質問、そして歴史的に宣言された日付を持つ予測の質問。 持続性と支配的な結果の制御は、確率の精度を0.27近く維持する。 その結果、ほとんどのフロンティアモデルでは、自己報告は下層知識であることがわかった。 GPT-5は、コントロールされた事実の76%を正しく答えるが、38%を知っており、その事実の61%は知らないと答えている。 知識クレームは、測定された知識境界を越えて最大7クォーターまで持続することができ、宣言された日付は、正確さを保ちながら、事前知識のクレームの大部分を除去する。 したがって、モデルのトレーニングウィンドウ内のバックテストは、自己申告、指示、記載されたカットオフによって、リークフリーの認定を受けることはできない。 これらの知見は、時間的知識境界の行動計測を動機付け、FinDendroは、実証された事実知識に基づいて、バックテスト期間を選択するためのベンチマークと手順を提供する。

関連論文リスト

• Beyond Answer Confidence: A Controlled Audit of Self-Knowledge in a Black-Box Decision Model [3.1178859467674687]
  Jevは15以上の公開データセットと6つの生成されたタスクファミリを備えた意思決定モデルであり、固定アイテムに供給される情報を変更するペアによる介入を備えている。 我々は15以上の公開データセットと6つの生成されたタスクファミリを持つ決定モデルであるJevにおいて、この区別を監査する。 解答関連情報がないため、最大0.80を有能なオプションに割り当て、観測された知識境界を超えるニュースでは精度0.21-0.33を超える。
  論文  参考訳（メタデータ） (2026-10-01T03:53:12Z)
• Confidently Wrong: Detecting Hallucinations in Financial Question Answering from LLM Internal States [0.0]
  厳密で不確実な回答は精査を招待する一方、自信のあるエラーは警告なしで下流の判断を静かに低下させる。 モデルの内部アクティベーションから、どれほど確実にそのような自信ある答え、あるいは自信ある幻覚が検出できるかを問う。 残差ストリーム上で線形プローブを訓練し、2つの確立された質問応答ベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-07-13T11:22:25Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。