論文の概要: Forecasting Future World Events with Neural Networks
- arxiv url: http://arxiv.org/abs/2206.15474v1
- Date: Thu, 30 Jun 2022 17:59:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 13:35:11.486034
- Title: Forecasting Future World Events with Neural Networks
- Title(参考訳): ニューラルネットワークによる未来の世界イベントの予測
- Authors: Andy Zou, Tristan Xiao, Ryan Jia, Joe Kwon, Mantas Mazeika, Richard
Li, Dawn Song, Jacob Steinhardt, Owain Evans, Dan Hendrycks
- Abstract要約: Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。
ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。
予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
- 参考スコア(独自算出の注目度): 68.43460909545063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Forecasting future world events is a challenging but valuable task. Forecasts
of climate, geopolitical conflict, pandemics and economic indicators help shape
policy and decision making. In these domains, the judgment of expert humans
contributes to the best forecasts. Given advances in language modeling, can
these forecasts be automated? To this end, we introduce Autocast, a dataset
containing thousands of forecasting questions and an accompanying news corpus.
Questions are taken from forecasting tournaments, ensuring high quality,
real-world importance, and diversity. The news corpus is organized by date,
allowing us to precisely simulate the conditions under which humans made past
forecasts (avoiding leakage from the future). Motivated by the difficulty of
forecasting numbers across orders of magnitude (e.g. global cases of COVID-19
in 2022), we also curate IntervalQA, a dataset of numerical questions and
metrics for calibration. We test language models on our forecasting task and
find that performance is far below a human expert baseline. However,
performance improves with increased model size and incorporation of relevant
information from the news corpus. In sum, Autocast poses a novel challenge for
large language models and improved performance could bring large practical
benefits.
- Abstract(参考訳): 将来の世界イベントの予測は、難しいが価値のあるタスクである。
気候、地政学的紛争、パンデミック、経済指標の予測は、政策や意思決定を形作るのに役立つ。
これらの領域では、専門家の判断が最高の予測に寄与する。
言語モデリングの進歩を考えると、これらの予測は自動化できるだろうか?
この目的のために,数千の予測質問と付随するニュースコーパスを含むデータセットであるAutocastを紹介する。
質問は、トーナメントの予測、高品質、現実世界の重要性、多様性の確保から受けられる。
ニュースコーパスは日付によって整理され、人間が過去の予測(未来からの漏洩を避ける)を正確にシミュレートすることができる。
桁違いの数値予測の難しさ(例:2022年のCOVID-19のグローバルなケース)により、数値的な質問やキャリブレーションのメトリクスのデータセットであるIntervalQAをキュレートする。
予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
しかし、モデルサイズの増加とニュースコーパスからの関連情報の取り込みにより性能が向上する。
まとめると、autocastは大きな言語モデルにとって新しい挑戦であり、パフォーマンスの向上は大きな実用的利益をもたらす可能性がある。
関連論文リスト
- Forecasting Future International Events: A Reliable Dataset for Text-Based Event Modeling [37.508538729757404]
WorldREPは、大規模言語モデル(LLM)の高度な推論能力を活用することで制限に対処するために設計された、新しいデータセットである。
我々のデータセットは、高度なプロンプトモデリングと、政治学の領域の専門家による厳密な検証によって生成される高品質なスコアリングラベルを特徴としている。
データ収集、ラベル付け、ベンチマークのための完全な自動化ソースコードとともに、私たちのデータセットを公開し、テキストベースのイベント予測の研究を支援し、前進させることを目指しています。
論文 参考訳(メタデータ) (2024-11-21T11:44:23Z) - F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。
タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。
従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
論文 参考訳(メタデータ) (2024-06-23T21:28:50Z) - Can Language Models Use Forecasting Strategies? [14.332379032371612]
実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。
モデルはまだ、未来に関する正確な予測に苦戦している。
論文 参考訳(メタデータ) (2024-06-06T19:01:42Z) - Forecasting the Future with Future Technologies: Advancements in Large Meteorological Models [3.332582598089642]
気象予報の分野は、大きなモデルの統合によって大きな変化を遂げた。
FourCastNet、Pangu-Weather、GraphCast、ClimaX、FengWuといったモデルは、正確で高精度な予測を提供することで、顕著な貢献をしている。
論文 参考訳(メタデータ) (2024-04-10T00:52:54Z) - Approaching Human-Level Forecasting with Language Models [34.202996056121]
我々は,言語モデル(LM)が競争力のある人間の予測能力のレベルで予測できるかどうかを検討した。
本研究では,関連する情報を自動的に検索し,予測を生成し,予測を集約する検索拡張型LMシステムを開発した。
論文 参考訳(メタデータ) (2024-02-28T18:54:18Z) - ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。
また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。
提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
論文 参考訳(メタデータ) (2024-02-02T10:34:13Z) - FengWu-GHR: Learning the Kilometer-scale Medium-range Global Weather
Forecasting [56.73502043159699]
この研究は、データ駆動型世界天気予報モデルであるFengWu-GHRを、0.09$circ$水平解像度で実行した。
低解像度モデルから事前知識を継承することにより、MLベースの高解像度予測を操作するための扉を開く新しいアプローチを導入する。
2022年の天気予報は、FengWu-GHRがIFS-HRESよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-01-28T13:23:25Z) - Performative Time-Series Forecasting [71.18553214204978]
我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。
本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。
新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
論文 参考訳(メタデータ) (2023-10-09T18:34:29Z) - GraphCast: Learning skillful medium-range global weather forecasting [107.40054095223779]
我々は、再分析データから直接トレーニングできる「GraphCast」と呼ばれる機械学習ベースの手法を導入する。
全世界で10日以上、0.25度で、数百の気象変動を1分以内で予測する。
我々は,GraphCastが1380の検証対象の90%において,最も正確な運用決定システムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-12-24T18:15:39Z) - ForecastQA: A Question Answering Challenge for Event Forecasting with
Temporal Text Data [43.400630267599084]
イベント予測は、人間が常に未来に向けて計画しようとするため、難しいが重要な課題である。
タスクを定式化し、データセットを構築し、大量の構造化されていないテキストデータを用いたイベント予測手法を開発するためのベンチマークを提供する。
BERTベースのモデルを用いてForecastQA実験を行い、データセット上で最高のモデルが60.1%の精度で達成していることを確認した。
論文 参考訳(メタデータ) (2020-05-02T11:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。