論文の概要: Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

• arxiv url: http://arxiv.org/abs/2511.18394v1
• Date: Sun, 23 Nov 2025 10:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.818416
• Title: Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking
• Title（参考訳）: 未来は不均一に分散している - LLMの予測能力は、私たちが求めているものに依存する
• Authors: Chinmay Karkar, Paras Chopra,
• Abstract要約: 本研究では,モデルカットオフ日を超えて発生した事象に関する実世界の質問に対して,モデルファミリの異なるモデルファミリで,予測性能がどう変化するかを検討する。 我々は,文脈,質問タイプ,外部知識が精度やキャリブレーションにどのように影響するか,事実的ニュースコンテキストの追加が信念の形成や失敗モードをどう修正するかを分析する。
• 参考スコア（独自算出の注目度）: 1.0742675209112622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、社会的、政治的、経済的な出来事にまたがる部分的な予測能力を示す。 しかし、それらの予測能力はドメイン構造と迅速なフレーミングによって大きく変化する。 本研究では,モデルカットオフ日を超えて発生した事象に関する実世界の質問に対して,モデルファミリの異なるモデルファミリで,予測性能がどう変化するかを検討する。 我々は,文脈,質問タイプ,外部知識が精度やキャリブレーションにどのように影響するか,事実的ニュースコンテキストの追加が信念の形成や失敗モードをどう修正するかを分析する。 以上の結果から,予測能力は,何,どのように変化するかによって非常に異なることが明らかとなった。

関連論文リスト

• Understanding the Implicit Biases of Design Choices for Time Series Foundation Models [90.894232610821]
  時系列基礎モデル(TSFM)は、時系列予測と関連する時間的タスクのための潜在的に強力で汎用的なツールのクラスである。 彼らの行動はデザインの微妙な帰納的バイアスによって強く形作られています。 モデルやデータの性質によって、これらのバイアスが直感的であるか、非常に直感的であるかを示す。
  論文  参考訳（メタデータ） (2025-10-22T04:42:35Z)
• Navigating Tomorrow: Reliably Assessing Large Language Models Performance on Future Event Prediction [17.021220773165016]
  本研究では,将来の予測タスクを支援するために,複数の大規模言語モデル(LLM)の性能を評価する。 我々は、エンティティタイプとその人気に基づいてニュース記事を発見し分類することで、データセット1を作成する。
  論文  参考訳（メタデータ） (2025-01-10T12:44:46Z)
• Testing Uncertainty of Large Language Models for Physics Knowledge and Reasoning [0.0]
  大規模言語モデル(LLM)は、近年、様々な分野の質問に答える能力で大きな人気を集めている。 本稿では,オープンソースLLMの性能評価のための解析手法を提案する。 我々は,物理に関する話題における解答精度と変数の関係に注目した。
  論文  参考訳（メタデータ） (2024-11-18T13:42:13Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Eliciting Uncertainty in Chain-of-Thought to Mitigate Bias against Forecasting Harmful User Behaviors [29.892041865029803]
  会話予測タスクは、展開された会話の結果を予測するモデルである。 ソーシャルメディアのモデレーションに応用すれば、有害なユーザーの行動を予測することができる。 本稿では,潜在的なバイアスを軽減するツールとして,モデルの不確実性がどの程度有効かを検討する。
  論文  参考訳（メタデータ） (2024-10-17T15:07:53Z)
• Performative Time-Series Forecasting [64.03865043422597]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• Forecasting Future World Events with Neural Networks [68.43460909545063]
  Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。 ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。 予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
  論文  参考訳（メタデータ） (2022-06-30T17:59:14Z)
• Causal Knowledge Guided Societal Event Forecasting [24.437437565689393]
  本稿では,因果効果推定をイベント予測に組み込むディープラーニングフレームワークを提案する。 機能再重み付けモジュールと近似損失を含む2つの頑健な学習モジュールを導入し、事前の知識注入を可能にする。
  論文  参考訳（メタデータ） (2021-12-10T17:41:02Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。