論文の概要: Can Base ChatGPT be Used for Forecasting without Additional Optimization?
- arxiv url: http://arxiv.org/abs/2404.07396v3
- Date: Thu, 4 Jul 2024 23:03:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 23:24:01.894750
- Title: Can Base ChatGPT be Used for Forecasting without Additional Optimization?
- Title（参考訳）: Base ChatGPTは追加最適化なしで予測に使用できるか?
- Authors: Van Pham, Scott Cunningham,
- Abstract要約: 本研究では,OpenAI の ChatGPT-3.5 と ChatGPT-4 が今後の事象を予測できるかどうかを検討する。
私たちは、直接予測と将来の物語と呼ばれる2つの促進戦略を採用しています。
100の試行を解析した結果,将来の物語はChatGPT-4の予測精度を大幅に向上させることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study investigates whether OpenAI's ChatGPT-3.5 and ChatGPT-4 can forecast future events. To evaluate the accuracy of the predictions, we take advantage of the fact that the training data at the time of our experiments (mid 2023) stopped at September 2021, and ask about events that happened in 2022. We employed two prompting strategies: direct prediction and what we call future narratives which ask ChatGPT to tell fictional stories set in the future with characters retelling events that happened in the past, but after ChatGPT's training data had been collected. We prompted ChatGPT to engage in storytelling, particularly within economic contexts. After analyzing 100 trials, we find that future narrative prompts significantly enhanced ChatGPT-4's forecasting accuracy. This was especially evident in its predictions of major Academy Award winners as well as economic trends, the latter inferred from scenarios where the model impersonated public figures like the Federal Reserve Chair, Jerome Powell. As a falsification exercise, we repeated our experiments in May 2024 at which time the models included more recent training data. ChatGPT-4's accuracy significantly improved when the training window included the events being prompted for, achieving 100% accuracy in many instances. The poorer accuracy for events outside of the training window suggests that in the 2023 prediction experiments, ChatGPT-4 was forming predictions based solely on its training data. Narrative prompting also consistently outperformed direct prompting. These findings indicate that narrative prompts leverage the models' capacity for hallucinatory narrative construction, facilitating more effective data synthesis and extrapolation than straightforward predictions. Our research reveals new aspects of LLMs' predictive capabilities and suggests potential future applications in analytical contexts.
- Abstract（参考訳）: 本研究では,OpenAI の ChatGPT-3.5 と ChatGPT-4 が今後の事象を予測できるかどうかを検討する。
予測の精度を評価するため,2021年9月(2023年9月)に実験中のトレーニングデータが停止した事実を利用して,2022年(2022年)に起こった出来事について質問する。
直接予測と,ChatGPTのトレーニングデータが収集された後,我々は,過去に起こった出来事を再現するキャラクターを用いて,ChatGPTに将来設定された架空の物語を伝えるよう依頼する,未来物語と呼ばれる2つのプロンプト戦略を採用した。
私たちはChatGPTに、特に経済的な文脈において、ストーリーテリングに従事するように促しました。
100の試行を解析した結果,将来の物語はChatGPT-4の予測精度を大幅に向上させることがわかった。
これはアカデミー賞の受賞者や経済トレンドの予測で特に顕著であり、後者は連邦準備制度理事会議長ジェローム・パウエルのような人物をモデルにしたシナリオから推測された。
ファルシフィケーション・エクササイズとして,2024年5月の実験を繰り返すとともに,より最近のトレーニングデータを含むモデルについて検討した。
ChatGPT-4の精度は、トレーニングウィンドウが要求されるイベントを含むと大幅に改善され、多くのインスタンスで100%精度が達成された。
2023年の予測実験では、ChatGPT-4はトレーニングデータのみに基づいて予測を形成していた。
ナラティブプロンプトは、直接プロンプトよりも一貫して優れていた。
これらの結果から,物語のプロンプトは幻覚的物語構築にモデルの能力を活用し,直接的な予測よりも効果的なデータ合成と外挿を促進することが示唆された。
本研究は,LLMの予測能力の新たな側面を明らかにし,解析的文脈における将来的な応用の可能性を提案する。
関連論文リスト
- Performative Prediction on Games and Mechanism Design [69.7933059664256]
エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。
予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。
よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
論文 参考訳（メタデータ） (2024-08-09T16:03:44Z) - Can Language Models Use Forecasting Strategies? [14.332379032371612]
実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。
モデルはまだ、未来に関する正確な予測に苦戦している。
論文 参考訳（メタデータ） (2024-06-06T19:01:42Z) - Adaptive Human Trajectory Prediction via Latent Corridors [49.13061580045407]
シーン固有の適応軌道予測の問題を定式化する。
本稿では,潜伏回廊と呼ばれる即時チューニングにインスパイアされた新しい適応手法を提案する。
0.1%の追加モデルパラメータでは、MOTシンスシミュレーションデータの改善が23.9%、MOTおよびワイルドトラックにおけるADEが16.4%となる。
論文 参考訳（メタデータ） (2023-12-11T18:59:12Z) - Large Language Model Prediction Capabilities: Evidence from a Real-World
Forecasting Tournament [2.900810893770134]
我々は,OpenAIの最先端の大規模言語モデルであるGPT-4を,Metaculusプラットフォーム上で開催される3ヶ月の予測トーナメントに登録する。
GPT-4の確率予測は人混みの中央値よりもかなり精度が低いことを示す。
この過小評価の潜在的な説明は、現実の予測トーナメントでは、真の答えが予測された時点で真に未知であるということである。
論文 参考訳（メタデータ） (2023-10-17T17:58:17Z) - Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。
人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。
このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文 参考訳（メタデータ） (2023-10-10T08:24:28Z) - Performative Time-Series Forecasting [71.18553214204978]
我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。
本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。
新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
論文 参考訳（メタデータ） (2023-10-09T18:34:29Z) - Learn over Past, Evolve for Future: Forecasting Temporal Trends for Fake
News Detection [14.271593690271136]
我々は、ニュースデータの時間分布パターンを予測できる効果的なフレームワークFTT(Forecasting Temporal Trends)を設計する。
実世界の時間分割データセットの実験は、提案フレームワークの優位性を実証している。
論文 参考訳（メタデータ） (2023-06-26T14:29:05Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - Forecasting Future World Events with Neural Networks [68.43460909545063]
Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。
ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。
予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
論文 参考訳（メタデータ） (2022-06-30T17:59:14Z) - Measuring Forecasting Skill from Text [15.795144936579627]
我々は、人々が予測と予測スキルを説明するために使用する言語間の関係を探求する。
未来に関する人々の予測に関連付けられたテキスト上で計算される言語指標を多数提示する。
本研究では,言語のみに基づくモデルを用いて,予測スキルを正確に予測できることを実証する。
論文 参考訳（メタデータ） (2020-06-12T19:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。