論文の概要: Forecasting Future World Events with Neural Networks
- arxiv url: http://arxiv.org/abs/2206.15474v1
- Date: Thu, 30 Jun 2022 17:59:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 13:35:11.486034
- Title: Forecasting Future World Events with Neural Networks
- Title(参考訳): ニューラルネットワークによる未来の世界イベントの予測
- Authors: Andy Zou, Tristan Xiao, Ryan Jia, Joe Kwon, Mantas Mazeika, Richard
Li, Dawn Song, Jacob Steinhardt, Owain Evans, Dan Hendrycks
- Abstract要約: Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。
ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。
予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
- 参考スコア(独自算出の注目度): 68.43460909545063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Forecasting future world events is a challenging but valuable task. Forecasts
of climate, geopolitical conflict, pandemics and economic indicators help shape
policy and decision making. In these domains, the judgment of expert humans
contributes to the best forecasts. Given advances in language modeling, can
these forecasts be automated? To this end, we introduce Autocast, a dataset
containing thousands of forecasting questions and an accompanying news corpus.
Questions are taken from forecasting tournaments, ensuring high quality,
real-world importance, and diversity. The news corpus is organized by date,
allowing us to precisely simulate the conditions under which humans made past
forecasts (avoiding leakage from the future). Motivated by the difficulty of
forecasting numbers across orders of magnitude (e.g. global cases of COVID-19
in 2022), we also curate IntervalQA, a dataset of numerical questions and
metrics for calibration. We test language models on our forecasting task and
find that performance is far below a human expert baseline. However,
performance improves with increased model size and incorporation of relevant
information from the news corpus. In sum, Autocast poses a novel challenge for
large language models and improved performance could bring large practical
benefits.
- Abstract(参考訳): 将来の世界イベントの予測は、難しいが価値のあるタスクである。
気候、地政学的紛争、パンデミック、経済指標の予測は、政策や意思決定を形作るのに役立つ。
これらの領域では、専門家の判断が最高の予測に寄与する。
言語モデリングの進歩を考えると、これらの予測は自動化できるだろうか?
この目的のために,数千の予測質問と付随するニュースコーパスを含むデータセットであるAutocastを紹介する。
質問は、トーナメントの予測、高品質、現実世界の重要性、多様性の確保から受けられる。
ニュースコーパスは日付によって整理され、人間が過去の予測(未来からの漏洩を避ける)を正確にシミュレートすることができる。
桁違いの数値予測の難しさ(例:2022年のCOVID-19のグローバルなケース)により、数値的な質問やキャリブレーションのメトリクスのデータセットであるIntervalQAをキュレートする。
予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
しかし、モデルサイズの増加とニュースコーパスからの関連情報の取り込みにより性能が向上する。
まとめると、autocastは大きな言語モデルにとって新しい挑戦であり、パフォーマンスの向上は大きな実用的利益をもたらす可能性がある。
関連論文リスト
- Approaching Human-Level Forecasting with Language Models [34.202996056121]
我々は,言語モデル(LM)が競争力のある人間の予測能力のレベルで予測できるかどうかを検討した。
本研究では,関連する情報を自動的に検索し,予測を生成し,予測を集約する検索拡張型LMシステムを開発した。
論文 参考訳(メタデータ) (2024-02-28T18:54:18Z) - ExtremeCast: Boosting Extreme Value Prediction for Global Weather
Forecast [61.138475638813354]
非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。
また,ExEnsembleという名称のトレーニングフリーな極値拡張戦略を導入し,画素値のばらつきを増大させ,予測ロバスト性を向上させる。
提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
論文 参考訳(メタデータ) (2024-02-02T10:34:13Z) - FengWu-GHR: Learning the Kilometer-scale Medium-range Global Weather
Forecasting [56.73502043159699]
この研究は、データ駆動型世界天気予報モデルであるFengWu-GHRを、0.09$circ$水平解像度で実行した。
低解像度モデルから事前知識を継承することにより、MLベースの高解像度予測を操作するための扉を開く新しいアプローチを導入する。
2022年の天気予報は、FengWu-GHRがIFS-HRESよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-01-28T13:23:25Z) - Performative Time-Series Forecasting [71.18553214204978]
我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。
本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。
新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
論文 参考訳(メタデータ) (2023-10-09T18:34:29Z) - GraphCast: Learning skillful medium-range global weather forecasting [107.40054095223779]
我々は、再分析データから直接トレーニングできる「GraphCast」と呼ばれる機械学習ベースの手法を導入する。
全世界で10日以上、0.25度で、数百の気象変動を1分以内で予測する。
我々は,GraphCastが1380の検証対象の90%において,最も正確な運用決定システムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-12-24T18:15:39Z) - Skillful Twelve Hour Precipitation Forecasts using Large Context Neural
Networks [8.086653045816151]
現在の運用予測モデルは物理に基づいており、大気をシミュレートするためにスーパーコンピュータを使用している。
ニューラルネットワークに基づく新しい気象モデルのクラスは、天気予報のパラダイムシフトを表している。
最大12時間前に降水予測が可能なニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-11-14T22:53:04Z) - FitVid: Overfitting in Pixel-Level Video Prediction [117.59339756506142]
われわれはFitVidという新しいアーキテクチャを導入し、一般的なベンチマークに厳しいオーバーフィッティングを行えるようにした。
FitVidは、4つの異なるメトリクスで4つの異なるビデオ予測ベンチマークで現在の最先端モデルを上回っている。
論文 参考訳(メタデータ) (2021-06-24T17:20:21Z) - Measuring Forecasting Skill from Text [15.795144936579627]
我々は、人々が予測と予測スキルを説明するために使用する言語間の関係を探求する。
未来に関する人々の予測に関連付けられたテキスト上で計算される言語指標を多数提示する。
本研究では,言語のみに基づくモデルを用いて,予測スキルを正確に予測できることを実証する。
論文 参考訳(メタデータ) (2020-06-12T19:04:10Z) - ForecastQA: A Question Answering Challenge for Event Forecasting with
Temporal Text Data [43.400630267599084]
イベント予測は、人間が常に未来に向けて計画しようとするため、難しいが重要な課題である。
タスクを定式化し、データセットを構築し、大量の構造化されていないテキストデータを用いたイベント予測手法を開発するためのベンチマークを提供する。
BERTベースのモデルを用いてForecastQA実験を行い、データセット上で最高のモデルが60.1%の精度で達成していることを確認した。
論文 参考訳(メタデータ) (2020-05-02T11:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。