論文の概要: ForecastBench: A Dynamic Benchmark of AI Forecasting Capabilities

• arxiv url: http://arxiv.org/abs/2409.19839v1
• Date: Mon, 30 Sep 2024 00:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 17:19:55.611518
• Title: ForecastBench: A Dynamic Benchmark of AI Forecasting Capabilities
• Title（参考訳）: ForecastBench: AI予測機能の動的ベンチマーク
• Authors: Ezra Karger, Houtan Bastani, Chen Yueh-Han, Zachary Jacobs, Danny Halawi, Fred Zhang, Philip E. Tetlock,
• Abstract要約: ForecastBenchは、機械学習システムの精度を評価するためのベンチマークである。 ForecastBenchは、提出時に既知の回答がない将来のイベントに関する質問のみで構成されている。 私たちはwww.forecastbench.orgの公開リーダーボードにシステムと人間のスコアを表示します。
• 参考スコア（独自算出の注目度）: 5.029476863820779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasts of future events are essential inputs into informed decision-making. Machine learning (ML) systems have the potential to deliver forecasts at scale, but there is no framework for evaluating the accuracy of ML systems on a standardized set of forecasting questions. To address this gap, we introduce ForecastBench: a dynamic benchmark that evaluates the accuracy of ML systems on an automatically generated and regularly updated set of 1,000 forecasting questions. To avoid any possibility of data leakage, ForecastBench is comprised solely of questions about future events that have no known answer at the time of submission. We quantify the ability of current ML systems by collecting forecasts from expert (human) forecasters, the general public, and LLMs on a random subset of questions from the benchmark (N = 200). While LLMs have achieved super-human performance on many benchmarks, they perform less well here: expert forecasters outperform the top-performing LLM (p-values <= 0.01). We display system and human scores in a public leaderboard at www.forecastbench.org.
• Abstract（参考訳）: 将来の出来事の予測は、情報的意思決定に不可欠なインプットである。 機械学習(ML)システムは、大規模に予測を配信する可能性があるが、標準化された予測質問セットに基づいて、MLシステムの正確性を評価するためのフレームワークはない。 このギャップに対処するため、ForecastBenchは、自動生成および定期更新された1000の予測質問セット上で、MLシステムの精度を評価する動的ベンチマークである。 データ漏洩の可能性を避けるため、ForecastBenchは、提出時に既知の回答がない将来のイベントに関する質問のみで構成されている。 ベンチマーク(N=200)から,専門家(人間)の予測者,一般人,LLMからの予測をランダムなサブセットで収集することにより,現在のMLシステムの能力の定量化を行う。 LLMは、多くのベンチマークで超人的性能を達成したが、ここでは、専門家予測器が最高性能のLSM(p-values <= 0.01)を上回っている。 私たちはwww.forecastbench.orgの公開リーダーボードにシステムと人間のスコアを表示します。

関連論文リスト

• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• Are LLMs Prescient? A Continuous Evaluation using Daily News as the Oracle [13.192628306219248]
  本稿では,大規模言語モデルの時間的一般化能力を評価するための連続評価手法として,将来の事象予測を提案する。 私たちのベンチマークであるDaily Oracleは、毎日のニュースから質問と回答のペアを自動的に生成します。
  論文  参考訳（メタデータ） (2024-11-13T04:20:20Z)
• Can We Predict Performance of Large Models across Vision-Language Tasks? [34.27319941609499]
  本稿では,他のLVLMやタスクの観測結果に基づいて,未知のパフォーマンススコアを予測する新しいフレームワークを提案する。 スパースなパフォーマンスマトリックス$boldsymbolR$を使用します。各エントリ$R_mn$は、$n$-thデータセット上の$m$-thモデルのパフォーマンススコアを表します。 本研究では,未知のスコアの予測におけるPMFの精度,評価の順序付けにおける不確実性推定の信頼性,スパースデータ処理における拡張の有効性を示す。
  論文  参考訳（メタデータ） (2024-10-14T03:00:12Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Can Language Models Use Forecasting Strategies? [14.332379032371612]
  実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。 モデルはまだ、未来に関する正確な予測に苦戦している。
  論文  参考訳（メタデータ） (2024-06-06T19:01:42Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• Forecasting Future World Events with Neural Networks [68.43460909545063]
  Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。 ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。 予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
  論文  参考訳（メタデータ） (2022-06-30T17:59:14Z)
• Uncertainty Prediction for Machine Learning Models of Material Properties [0.0]
  物質特性のAIベースの予測の不確実性は、物質科学におけるAIアプリケーションの成功と信頼性にとって非常に重要である。 このような個人的不確実性を得るための3つの異なるアプローチを比較し、それらを12のML物理特性で検証する。
  論文  参考訳（メタデータ） (2021-07-16T16:33:55Z)
• MLDemon: Deployment Monitoring for Machine Learning Systems [10.074466859579571]
  ML Deployment Monitoritoring のための新しいアプローチ MLDemon を提案します。 MLDemonはラベル付けされていない機能と少数のオンデマンドラベル付きサンプルを統合して、リアルタイムの見積を生成する。 多様な分布のドリフトとモデルを持つ時間データセットでは、MLDemonは既存のモニタリングアプローチを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-04-28T07:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。