論文の概要: Who Warmed the Archives? LLMs Overestimate Historical Warmth

• arxiv url: http://arxiv.org/abs/2609.37499v1
• Date: Sun, 27 Sep 2026 17:15:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.529239
• Title: Who Warmed the Archives? LLMs Overestimate Historical Warmth
• Title（参考訳）: アーカイブを誰が警告したか? LLMは歴史的温暖さを過大評価している
• Abstract要約: 歴史的アーカイブは、楽器の気候記録を遡って拡張するための未使用の資料である。 ローヤル法は、過去のドイツ語のスクラッチから事前訓練されたものを含め、我々がテストしたすべての微調整トランスフォーマーを破ります。 我々がテストした6つのLCM(Gemini 2.5 Flash, GPT-5-mini, DeepSeek v4 Flash, Claude Sonnet 4.6, Qwen3.7-Plus, Kimi-K2.6-Fast)はすべて、カレンダーの年とともに増加する温かいバイアスを示している。
• 参考スコア（独自算出の注目度）: 3.4822637468319733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Historical archives are an under-used source for extending the instrumental climate record backward in time, and LLMs offer a way to extract the indices climatologists derive by hand. Beyond measuring how well systems extract this signal, we check whether their errors are safe to use for cross-century comparison, since a good correlation score does not rule out systematic, era-linked bias. Comparing lexical baselines, fine-tuned historical transformers, and LLM prompting on the Pfister temperature index across five centuries of German text, lexical methods beat every fine-tuned transformer we test, including one pretrained from scratch on historical German (r=-0.016). All six LLMs we test (Gemini 2.5 Flash, GPT-5-mini, DeepSeek v4 Flash, Claude Sonnet 4.6, Qwen3.7-Plus, Kimi-K2.6-Fast) show a warm bias that grows with calendar year, with the same sign in every model (slopes +0.13 to +0.34/century, p<0.01). The effect is modest in size (r-squared approx equal to 0.01 to 0.05) but consistent across six independently developed models. The best-correlated of the six, Gemini 2.5 Flash, matches the best lexical correlation (r=0.32) at double the error. An ablation stripping explicit dates and calendar-era markers from the quotes leaves this trend essentially unchanged, favoring an anachronistic present-day prior over the model correctly inferring the quote's era. Correlation alone is thus insufficient for vetting an LLM as a historical-climate-index oracle.
• Abstract（参考訳）: 歴史的アーカイブは、機器の気候記録を遡って拡張するための未使用の資料であり、LSMは、手動で派生した指標気候学者を抽出する方法を提供する。 このシグナルをいかにうまく抽出するかを計測するだけでなく、良い相関スコアが体系的、年代関連バイアスを除外しないため、それらのエラーが一世紀間比較に使用するのに安全かどうかを確認する。 レクシカル・ベースライン、微調整された歴史的トランスフォーマー、そして5世紀にわたるドイツのテキストのPfister温度指数を推し進めるLLMと比較すると、レキシカル・メソッドは、過去のドイツ語(r=0.016)のスクラッチから事前訓練された1つを含む、我々がテストしたすべての微調整されたトランスフォーマーを破る。 テストした6つのLCM(Gemini 2.5 Flash、GPT-5-mini、DeepSeek v4 Flash、Claude Sonnet 4.6、Qwen3.7-Plus、Kimi-K2.6-Fast)は、すべてのモデルで同じ符号(slopes +0.13から+0.34/ century、p<0.01)で、暦年とともに成長する温かいバイアスを示す。 この効果は控えめな大きさ(r-2乗近似は0.01から0.05に等しい)であるが、6つの独立に開発されたモデルで一致している。 6つの最も関連性の高いGemini 2.5 Flashは、エラーの2倍の相関関係(r=0.32)と一致している。 引用文から明示的な日付と暦時代のマーカーを取り除いたアブレーションでは、この傾向は基本的に変化せず、引用文の年代を正確に推測するモデルよりも、現在のアノニスティックな時代を優先している。 したがって、LLMを歴史的気候-指数オラクルとして検証するには相関だけでは不十分である。

関連論文リスト

• Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents Where a Lean Retrieved Context Beats the Full History [2.5401434059780468]
  Engramは、バイテンポラルデータモデル上のデュアルプロセスメモリエンジンである。 高速書き込みパスは、クリティカルパスにLSMなしでエピソードを付加する。 ハイブリッドリードパスは、密度、語彙、グラフ、および電流/セイレンス信号を融合する。
  論文  参考訳（メタデータ） (2026-06-05T11:43:56Z)
• NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models [0.0]
  NumLeakは、プロダクションモデル上のAPI境界プローブとオープン因果LM上のホワイトボックス制御バリデーションを組み合わせた測定フレームワークである。 最上位のフロンティアLLMは3シードプールのピアソン・r=0.97-0.99でファマ・フレンチの過剰リターンをリコールし、5つの兄弟要素で0.15-25bps以内にとどまった。
  論文  参考訳（メタデータ） (2026-05-28T12:52:49Z)
• AMEL: Accumulated Message Effects on LLM Judgments [0.0]
  先行会話履歴の極性がその後の判断に偏っているかどうかを問う。 主に肯定的あるいは否定的な評価で飽和した同一の検査項目を分離または後史で提示する。 この効果は、モデルが実際にベースラインで不確実であるアイテムに集中する。
  論文  参考訳（メタデータ） (2026-05-21T16:51:04Z)
• BeliefShift: Benchmarking Temporal Belief Consistency and Opinion Drift in LLM Agents [0.0]
  BeliefShiftはマルチセッション会話エージェントにおける信念のダイナミクスを評価するために設計されたベンチマークである。 テンポラル・リーフ・一貫性、コントラディション・インテクション、エビデンス・ドリブン・リビジョンの3つのトラックをカバーしている。 GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro, LLaMA-3, Mistral-Largeの7つのモデルについて, ゼロショットおよび検索拡張生成設定で評価した。
  論文  参考訳（メタデータ） (2026-03-25T02:09:35Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
  本稿では,Flamesという値アライメントベンチマークを提案する。 一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。 以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
  論文  参考訳（メタデータ） (2023-11-12T17:18:21Z)
• Automatically measuring speech fluency in people with aphasia: first achievements using read-speech data [55.84746218227712]
  本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
  論文  参考訳（メタデータ） (2023-08-09T07:51:40Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。