論文の概要: Measuring Forecasting Skill from Text

• arxiv url: http://arxiv.org/abs/2006.07425v2
• Date: Tue, 16 Jun 2020 16:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 04:18:44.174379
• Title: Measuring Forecasting Skill from Text
• Title（参考訳）: テキストによる予測スキルの測定
• Authors: Shi Zong, Alan Ritter, Eduard Hovy
• Abstract要約: 我々は、人々が予測と予測スキルを説明するために使用する言語間の関係を探求する。 未来に関する人々の予測に関連付けられたテキスト上で計算される言語指標を多数提示する。 本研究では,言語のみに基づくモデルを用いて,予測スキルを正確に予測できることを実証する。
• 参考スコア（独自算出の注目度）: 15.795144936579627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People vary in their ability to make accurate predictions about the future. Prior studies have shown that some individuals can predict the outcome of future events with consistently better accuracy. This leads to a natural question: what makes some forecasters better than others? In this paper we explore connections between the language people use to describe their predictions and their forecasting skill. Datasets from two different forecasting domains are explored: (1) geopolitical forecasts from Good Judgment Open, an online prediction forum and (2) a corpus of company earnings forecasts made by financial analysts. We present a number of linguistic metrics which are computed over text associated with people's predictions about the future including: uncertainty, readability, and emotion. By studying linguistic factors associated with predictions, we are able to shed some light on the approach taken by skilled forecasters. Furthermore, we demonstrate that it is possible to accurately predict forecasting skill using a model that is based solely on language. This could potentially be useful for identifying accurate predictions or potentially skilled forecasters earlier.
• Abstract（参考訳）: 人々は未来について正確な予測をする能力が異なる。 以前の研究では、一部の個人は、常により良い精度で将来の出来事の結果を予測することができることを示した。 これは自然な疑問につながります – 予測者が他よりも優れている理由は何でしょう? 本稿では,利用者が使用する言語と予測スキルとの関係について検討する。 1) オンライン予測フォーラム「グッド・ジャッジメント・オープン」の地政学的予測と, (2) 財務アナリストによる企業業績予測のコーパスである。 我々は、不確実性、可読性、感情など、人々の将来の予測に関連するテキスト上で計算される多くの言語指標を提示する。 予測に関連する言語的要因を研究することにより、熟練した予測者によるアプローチに光を当てることができる。 さらに,言語のみに基づくモデルを用いて,予測スキルを正確に予測できることを実証した。 これは、正確な予測や、早期に熟練した予測者を特定するのに役立つ可能性がある。

関連論文リスト

• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Large Language Model Prediction Capabilities: Evidence from a Real-World Forecasting Tournament [2.900810893770134]
  我々は,OpenAIの最先端の大規模言語モデルであるGPT-4を,Metaculusプラットフォーム上で開催される3ヶ月の予測トーナメントに登録する。 GPT-4の確率予測は人混みの中央値よりもかなり精度が低いことを示す。 この過小評価の潜在的な説明は、現実の予測トーナメントでは、真の答えが予測された時点で真に未知であるということである。
  論文  参考訳（メタデータ） (2023-10-17T17:58:17Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Incentivizing honest performative predictions with proper scoring rules [4.932130498861987]
  その予測が下された後に専門家の信念を正確に反映していれば、予測は固定点であると言える。 二項予測に対して、専門家の予測が結果に与える影響が限定されている場合、最適なレポートが任意に固定点に近づくスコアリングルールを定義することができる。
  論文  参考訳（メタデータ） (2023-05-28T00:53:26Z)
• Algorithmic Information Forecastability [0.0]
  予測可能性の度合いはデータのみの機能です 常に正確である予測のオラクル予測可能性 限界までエラーの正確な予測可能性 他の予測の確率予測性
  論文  参考訳（メタデータ） (2023-04-21T05:45:04Z)
• Forecasting Future World Events with Neural Networks [68.43460909545063]
  Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。 ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。 予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
  論文  参考訳（メタデータ） (2022-06-30T17:59:14Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• How to "Improve" Prediction Using Behavior Modification [0.0]
  データサイエンス研究者は予測を改善するアルゴリズム、モデル、アプローチを設計する。 より大きく、よりリッチなデータによって予測精度が向上する。 プラットフォームは、予測値に向かってユーザの振る舞いをプッシュすることで、より正確な予測精度を秘かに達成することができる。 我々の導出は、データ科学者、プラットフォーム、顧客、そして行動が操作される人間に対して、そのような行動修正がもたらす影響を解明する。
  論文  参考訳（メタデータ） (2020-08-26T12:39:35Z)
• Adversarial Generative Grammars for Human Activity Prediction [141.43526239537502]
  将来予測のための逆生成文法モデルを提案する。 私たちの文法は、データ分散から生産ルールを学習できるように設計されています。 推論中に複数の生産ルールを選択することができると、予測される結果が異なる。
  論文  参考訳（メタデータ） (2020-08-11T17:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。