論文の概要: Approaching Human-Level Forecasting with Language Models

• arxiv url: http://arxiv.org/abs/2402.18563v1
• Date: Wed, 28 Feb 2024 18:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 13:58:24.842754
• Title: Approaching Human-Level Forecasting with Language Models
• Title（参考訳）: 言語モデルを用いた人間レベル予測へのアプローチ
• Authors: Danny Halawi, Fred Zhang, Chen Yueh-Han, Jacob Steinhardt
• Abstract要約: 我々は,言語モデル(LM)が競争力のある人間の予測能力のレベルで予測できるかどうかを検討した。 本研究では,関連する情報を自動的に検索し,予測を生成し,予測を集約する検索拡張型LMシステムを開発した。
• 参考スコア（独自算出の注目度）: 34.202996056121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasting future events is important for policy and decision making. In this work, we study whether language models (LMs) can forecast at the level of competitive human forecasters. Towards this goal, we develop a retrieval-augmented LM system designed to automatically search for relevant information, generate forecasts, and aggregate predictions. To facilitate our study, we collect a large dataset of questions from competitive forecasting platforms. Under a test set published after the knowledge cut-offs of our LMs, we evaluate the end-to-end performance of our system against the aggregates of human forecasts. On average, the system nears the crowd aggregate of competitive forecasters, and in some settings surpasses it. Our work suggests that using LMs to forecast the future could provide accurate predictions at scale and help to inform institutional decision making.
• Abstract（参考訳）: 将来の出来事を予測することは、政策と意思決定にとって重要である。 本研究では,言語モデル(LM)が競合する人間の予測能力のレベルを予測できるかどうかを検討する。 そこで本研究では,関連情報の自動検索,予測生成,集約予測を行うためのLMシステムを開発した。 そこで本研究では,競争予測プラットフォームから質問の大規模なデータセットを収集する。 LMの知識遮断後に公開されたテストセットでは,人間の予測の集合に対して,システムのエンドツーエンドのパフォーマンスを評価する。 平均すると、システムは競争力のある予測者の群集に近づき、いくつかの設定ではそれを上回る。 本研究は, 将来予測にLMを用いることで, 大規模かつ正確な予測が得られ, 制度的意思決定に役立てられることを示唆している。

関連論文リスト

• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Deep learning for precipitation nowcasting: A survey from the perspective of time series forecasting [4.5424061912112474]
  本稿では,ディープラーニングを用いた時系列降水予測モデルの最近の進歩を概観する。 予測モデルを,将来のフレームを予測するためのアプローチに基づいて,テキスト再帰戦略とテキスト多重戦略に分類する。 筆者らは,現在,降水予測のための深層学習モデルの評価を行い,その限界と課題について議論し,いくつかの有望な研究方向性を示す。
  論文  参考訳（メタデータ） (2024-06-07T12:07:09Z)
• Can Language Models Use Forecasting Strategies? [14.332379032371612]
  実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。 モデルはまだ、未来に関する正確な予測に苦戦している。
  論文  参考訳（メタデータ） (2024-06-06T19:01:42Z)
• Wisdom of the Silicon Crowd: LLM Ensemble Prediction Capabilities Rival Human Crowd Accuracy [1.999925939110439]
  我々は12大言語モデル(LLM)の群集からなるアンサンブルアプローチを使用する。 我々は,31の2進数質問に対するLLM予測を,3ヶ月の予測トーナメントにおける人的予測者の群集の予測と比較した。 両モデルの予測精度は、中央値の人間の予測を情報として暴露することで得られる。
  論文  参考訳（メタデータ） (2024-02-29T17:27:59Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Forecasting Future World Events with Neural Networks [68.43460909545063]
  Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。 ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。 予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
  論文  参考訳（メタデータ） (2022-06-30T17:59:14Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。