論文の概要: Navigating Tomorrow: Reliably Assessing Large Language Models Performance on Future Event Prediction

• arxiv url: http://arxiv.org/abs/2501.05925v1
• Date: Fri, 10 Jan 2025 12:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:59.606105
• Title: Navigating Tomorrow: Reliably Assessing Large Language Models Performance on Future Event Prediction
• Title（参考訳）: ナビゲーション明日 - 将来のイベント予測で大規模言語モデルのパフォーマンスを確実に評価する
• Authors: Petraq Nako, Adam Jatowt,
• Abstract要約: 本研究では,将来の予測タスクを支援するために,複数の大規模言語モデル(LLM)の性能を評価する。 我々は、エンティティタイプとその人気に基づいてニュース記事を発見し分類することで、データセット1を作成する。
• 参考スコア（独自算出の注目度）: 17.021220773165016
• License:
• Abstract: Predicting future events is an important activity with applications across multiple fields and domains. For example, the capacity to foresee stock market trends, natural disasters, business developments, or political events can facilitate early preventive measures and uncover new opportunities. Multiple diverse computational methods for attempting future predictions, including predictive analysis, time series forecasting, and simulations have been proposed. This study evaluates the performance of several large language models (LLMs) in supporting future prediction tasks, an under-explored domain. We assess the models across three scenarios: Affirmative vs. Likelihood questioning, Reasoning, and Counterfactual analysis. For this, we create a dataset1 by finding and categorizing news articles based on entity type and its popularity. We gather news articles before and after the LLMs training cutoff date in order to thoroughly test and compare model performance. Our research highlights LLMs potential and limitations in predictive modeling, providing a foundation for future improvements.
• Abstract（参考訳）: 将来のイベントを予測することは、複数のフィールドやドメインにわたるアプリケーションにとって重要な活動である。 例えば、株式市場のトレンド、自然災害、事業展開、政治的出来事を予測する能力は、早期の予防措置を促進し、新たな機会を明らかにすることができる。 予測分析,時系列予測,シミュレーションなど,将来の予測を試みるための多種多様な計算手法が提案されている。 本研究では,いくつかの大規模言語モデル(LLM)の性能評価を行った。 Affirmative vs. Likelihood questioning, Reasoning, Counterfactual analysisの3つのシナリオでモデルを評価する。 そこで我々は,エンティティタイプとその人気度に基づいて,ニュース記事の検索と分類を行うことにより,データセット1を作成する。 モデル性能を徹底的に検証し比較するために,LLMのトレーニングカット日前後のニュース記事を収集する。 我々の研究は、予測モデリングにおけるLLMの可能性と限界を強調し、将来の改善の基盤を提供する。

関連論文リスト

• Wisdom of the Crowds in Forecasting: Forecast Summarization for Supporting Future Event Prediction [17.021220773165016]
  Future Event Prediction (FEP) は、複数のドメインにまたがる需要とアプリケーションの範囲にまたがる重要なアクティビティである。 予測方法の1つは、将来についての集合的な意見を収集して集約し、累積的な視点が今後の出来事の可能性を推定する可能性をもたらすように予測することである。 本研究では,個々の予測を集約することで,群衆の知恵に基づく今後のイベント予測を支援するために,既存の研究・フレームワークを編成する。
  論文  参考訳（メタデータ） (2025-02-12T08:35:10Z)
• Leveraging Log Probabilities in Language Models to Forecast Future Events [0.0]
  本稿では,大規模言語モデルを用いたAIによる予測のための新しい手法を提案する。 我々は15の異なるトピックの予測を生成するために、現在のトレンドとその軌跡に関するデータを用いる。 つまり、ランダムな確率よりも26%改善し、広く利用可能なAIシステムよりも+19%改善したことを意味する。
  論文  参考訳（メタデータ） (2025-01-08T23:28:28Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Can Language Models Use Forecasting Strategies? [14.332379032371612]
  実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。 モデルはまだ、未来に関する正確な予測に苦戦している。
  論文  参考訳（メタデータ） (2024-06-06T19:01:42Z)
• Approaching Human-Level Forecasting with Language Models [34.202996056121]
  我々は,言語モデル(LM)が競争力のある人間の予測能力のレベルで予測できるかどうかを検討した。 本研究では,関連する情報を自動的に検索し,予測を生成し,予測を集約する検索拡張型LMシステムを開発した。
  論文  参考訳（メタデータ） (2024-02-28T18:54:18Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Forecasting Future World Events with Neural Networks [68.43460909545063]
  Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。 ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。 予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
  論文  参考訳（メタデータ） (2022-06-30T17:59:14Z)
• Adversarial Generative Grammars for Human Activity Prediction [141.43526239537502]
  将来予測のための逆生成文法モデルを提案する。 私たちの文法は、データ分散から生産ルールを学習できるように設計されています。 推論中に複数の生産ルールを選択することができると、予測される結果が異なる。
  論文  参考訳（メタデータ） (2020-08-11T17:47:53Z)
• Video Prediction via Example Guidance [156.08546987158616]
  ビデオ予測タスクでは、将来のコンテンツとダイナミクスのマルチモーダルな性質を捉えることが大きな課題である。 本研究では,有効な将来状態の予測を効果的に行うための,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。