論文の概要: Evaluating LLMs on Real-World Forecasting Against Human Superforecasters

• arxiv url: http://arxiv.org/abs/2507.04562v1
• Date: Sun, 06 Jul 2025 22:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.238217
• Title: Evaluating LLMs on Real-World Forecasting Against Human Superforecasters
• Title（参考訳）: ヒトスーパープレキャストに対するリアルタイム予測におけるLCMの評価
• Authors: Janna Lu,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示したが、将来の事象を予測する能力はまだ検討されていない。 メタキュラスから464個の質問を予測し,その性能をヒトのスーパーフォアキャスターと比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities across diverse tasks, but their ability to forecast future events remains understudied. A year ago, large language models struggle to come close to the accuracy of a human crowd. I evaluate state-of-the-art LLMs on 464 forecasting questions from Metaculus, comparing their performance against human superforecasters. Frontier models achieve Brier scores that ostensibly surpass the human crowd but still significantly underperform a group of superforecasters.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示したが、将来の事象を予測する能力はまだ検討されていない。 1年前、大きな言語モデルは、人間の群衆の精度に近づくのに苦労しました。 メタキュラスから464個の質問を予測し,その性能をヒトのスーパーフォアキャスターと比較した。 フロンティアモデルは、人間の群衆を目覚ましげに上回るブライアスコアを達成しているが、それでもスーパーフォアキャスターのグループを著しく下回っている。

関連論文リスト

• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Wisdom of the Silicon Crowd: LLM Ensemble Prediction Capabilities Rival Human Crowd Accuracy [1.999925939110439]
  我々は12大言語モデル(LLM)の群集からなるアンサンブルアプローチを使用する。 我々は,31の2進数質問に対するLLM予測を,3ヶ月の予測トーナメントにおける人的予測者の群集の予測と比較した。 両モデルの予測精度は、中央値の人間の予測を情報として暴露することで得られる。
  論文  参考訳（メタデータ） (2024-02-29T17:27:59Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。