論文の概要: JockeyBench: Evaluating LLM Agents on Horse-Racing Decision-Making

• arxiv url: http://arxiv.org/abs/2610.19589v1
• Date: Wed, 14 Oct 2026 04:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.965602
• Title: JockeyBench: Evaluating LLM Agents on Horse-Racing Decision-Making
• Title（参考訳）: JockeyBench: 乗馬意思決定におけるLDMエージェントの評価
• Abstract要約: 繰り返し発生する事象予測には、ノイズのある証拠から予測信号を抽出する必要がある。 本稿では,歴史的競馬を通じてこの問題を研究するベンチマークおよび評価プロトコルであるJockeyBenchを紹介する。
• 参考スコア（独自算出の注目度）: 51.28684419852576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Repeated event forecasting requires extracting predictive signals from noisy evidence and evaluating their value across successive decisions. We introduce JockeyBench, a benchmark and evaluation protocol that studies this problem through historical Japanese horse racing. The protocol combines time-gated evidence, priced tools, paired frozen-program controls, and two workflows: executing an LLM-written predictor or acquiring evidence for a fresh per-race LLM forecast. Evaluation separates forecast quality, benchmark-specific net utility, and retrospective betting returns and risk under fixed decision rules. Across 28 model--scaffold configurations on 324 races, paired tests identify seven revision gains and two declines after multiple-testing correction. Yet every configuration has negative mean profit under capped-Kelly settlement. In a four-model comparison, the reusable-program workflow has higher mean betting profit and lower research fees, although both workflows lose on average. Further diagnostics reveal that mean probability bias reverses on selected bets and that profitable individual runs can depend on concentrated returns. These findings motivate evaluating predictive competence, adaptation, resource use, and decision value separately when assessing agents for repeated event forecasting.
• Abstract（参考訳）: 繰り返し発生する事象予測には、ノイズのある証拠から予測信号を抽出し、連続した決定を通じてその価値を評価する必要がある。 本稿では,歴史的競馬を通じてこの問題を研究するベンチマークおよび評価プロトコルであるJockeyBenchを紹介する。 このプロトコルは、タイムゲートされたエビデンス、高価なツール、ペアのフリーズプログラムコントロール、および2つのワークフローを組み合わせる。 評価は、予測品質、ベンチマーク固有のネットユーティリティ、固定された決定ルールの下でのレトロスペクティブのベッティングリターンとリスクを分離する。 28のモデル-324レースのスキャフォールド構成で、ペアテストは7つのリビジョンゲインと2つのリフレッシュを多重テスト修正後に識別する。 しかし、全ての構成は、キャップ付きケリー開拓地における負の平均利益を持っている。 4モデル比較では、再利用可能なプログラムワークフローは、平均的なベッティング利益と研究費用が低いが、どちらのワークフローも平均で減少する。 さらなる診断により、平均確率バイアスは選択した賭けで逆転し、利益のある個人ランは集中リターンに依存する可能性があることが明らかになった。 これらの結果は、繰り返しイベント予測のためのエージェントを評価する際に、予測能力、適応性、資源使用量、決定価値を別々に評価する動機となっている。

関連論文リスト

• Decision-Focused Active Learning for Scale-Aware Critical-Materials Recovery [0.0]
  我々は太平洋岸北西部国立研究所のコンピュータ・インテリジェンス・フォー・クリティカル・エレメント・リカバリと最適化のワークフローから記録を分析した。 アクティブな学習は実験を選択するために事前の結果を使用する。 我々は、下流ベイズリスクの低減を期待して、バッチを選択することを提案する。
  論文  参考訳（メタデータ） (2026-09-08T20:10:02Z)
• PRICE: A Systematic Study of LLM Adaptation Choices for Bitcoin Price Forecasting [0.40105987447353786]
  本研究は,短期的なBitcoin価格予測に大規模言語モデルを適用するための構造化アプローチであるPRICEを紹介する。 PRICEは4ビット量子化LLaMA-3 8Bモデルに基づいており、微調整、数値表現、プロンプト、推論、復号化がパフォーマンスにどのように影響するかを調査している。 プライスは、評価期間にわたって堅牢なパフォーマンスを維持しながら、検証セットとテストセットの両方で最も低い予測エラーを達成する。
  論文  参考訳（メタデータ） (2026-09-04T15:01:38Z)
• LLM-based Agents for Forecasting and Prediction: Methods, Training, Evaluation, and Applications [76.41731220830714]
  大規模言語モデル(LLM)は、言語ベースの推論と時間的データ、エビデンス検索、外部ツール、反復予測を組み合わせた予測システムをサポートするようになった。 ファイナンス、天気、健康、エネルギー、オペレーションの応用について検討し、評価に使用されるベンチマークとデータセットを要約する。
  論文  参考訳（メタデータ） (2026-08-24T10:02:39Z)
• Bias and Uncertainty in LLM-as-a-Judge Estimation [0.0]
  LLM-as-a-Judge評価は,ベースモデルの性能評価の標準ツールとなっている。 近年の研究では、このバイアスを修正するための推定器が提案されているが、その信頼性は判断品質とモデル比較において、キャリブレーション安定性に大きく依存している。 本研究では,これらの故障モードを解析結果,判定品質のシミュレーション,モデル間キャリブレーション不安定性などを通じて検討する。
  論文  参考訳（メタデータ） (2026-05-07T20:55:21Z)
• Reasoning-Enhanced Rare-Event Prediction with Balanced Outcome Correction [45.88028371034407]
  本稿では,予測のためのLPCORP(Low-Prevalence CORrector for Prediction)*を提案する。 医療・消費者サービス分野における実世界のデータセット上でLPCORPを評価する。
  論文  参考訳（メタデータ） (2026-01-23T02:34:29Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。