論文の概要: Approaching Human-Level Forecasting with Language Models
- arxiv url: http://arxiv.org/abs/2402.18563v1
- Date: Wed, 28 Feb 2024 18:54:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 13:58:24.842754
- Title: Approaching Human-Level Forecasting with Language Models
- Title（参考訳）: 言語モデルを用いた人間レベル予測へのアプローチ
- Authors: Danny Halawi, Fred Zhang, Chen Yueh-Han, Jacob Steinhardt
- Abstract要約: 我々は,言語モデル(LM)が競争力のある人間の予測能力のレベルで予測できるかどうかを検討した。
本研究では,関連する情報を自動的に検索し,予測を生成し,予測を集約する検索拡張型LMシステムを開発した。
- 参考スコア（独自算出の注目度）: 34.202996056121
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Forecasting future events is important for policy and decision making. In
this work, we study whether language models (LMs) can forecast at the level of
competitive human forecasters. Towards this goal, we develop a
retrieval-augmented LM system designed to automatically search for relevant
information, generate forecasts, and aggregate predictions. To facilitate our
study, we collect a large dataset of questions from competitive forecasting
platforms. Under a test set published after the knowledge cut-offs of our LMs,
we evaluate the end-to-end performance of our system against the aggregates of
human forecasts. On average, the system nears the crowd aggregate of
competitive forecasters, and in some settings surpasses it. Our work suggests
that using LMs to forecast the future could provide accurate predictions at
scale and help to inform institutional decision making.
- Abstract（参考訳）: 将来の出来事を予測することは、政策と意思決定にとって重要である。
本研究では,言語モデル(LM)が競合する人間の予測能力のレベルを予測できるかどうかを検討する。
そこで本研究では,関連情報の自動検索,予測生成,集約予測を行うためのLMシステムを開発した。
そこで本研究では,競争予測プラットフォームから質問の大規模なデータセットを収集する。
LMの知識遮断後に公開されたテストセットでは,人間の予測の集合に対して,システムのエンドツーエンドのパフォーマンスを評価する。
平均すると、システムは競争力のある予測者の群集に近づき、いくつかの設定ではそれを上回る。
本研究は, 将来予測にLMを用いることで, 大規模かつ正確な予測が得られ, 制度的意思決定に役立てられることを示唆している。
関連論文リスト
- Wisdom of the Crowds in Forecasting: Forecast Summarization for Supporting Future Event Prediction [17.021220773165016]
Future Event Prediction (FEP) は、複数のドメインにまたがる需要とアプリケーションの範囲にまたがる重要なアクティビティである。
予測方法の1つは、将来についての集合的な意見を収集して集約し、累積的な視点が今後の出来事の可能性を推定する可能性をもたらすように予測することである。
本研究では,個々の予測を集約することで,群衆の知恵に基づく今後のイベント予測を支援するために,既存の研究・フレームワークを編成する。
論文 参考訳（メタデータ） (2025-02-12T08:35:10Z) - Navigating Tomorrow: Reliably Assessing Large Language Models Performance on Future Event Prediction [17.021220773165016]
本研究では,将来の予測タスクを支援するために,複数の大規模言語モデル(LLM)の性能を評価する。
我々は、エンティティタイプとその人気に基づいてニュース記事を発見し分類することで、データセット1を作成する。
論文 参考訳（メタデータ） (2025-01-10T12:44:46Z) - Consistency Checks for Language Model Forecasters [54.62507816753479]
予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。
我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
論文 参考訳（メタデータ） (2024-12-24T16:51:35Z) - Hybrid Forecasting of Geopolitical Events [71.73737011120103]
SAGEは、人間と機械が生成した予測を組み合わせたハイブリッド予測システムである。
このシステムは、確率と評価されたスキルに基づいて、人間と機械の予測の重み付けを集約する。
機械による予測にアクセスできる熟練した予測者は、過去のデータしか見ていない者よりも優れていた。
論文 参考訳（メタデータ） (2024-12-14T22:09:45Z) - Can Language Models Use Forecasting Strategies? [14.332379032371612]
実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。
モデルはまだ、未来に関する正確な予測に苦戦している。
論文 参考訳（メタデータ） (2024-06-06T19:01:42Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-04-17T10:59:57Z) - Forecasting Future World Events with Neural Networks [68.43460909545063]
Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。
ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。
予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
論文 参考訳（メタデータ） (2022-06-30T17:59:14Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。