論文の概要: KellyBench: A Benchmark for Long-Horizon Sequential Decision Making

• arxiv url: http://arxiv.org/abs/2604.27865v1
• Date: Thu, 30 Apr 2026 13:47:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.116911
• Title: KellyBench: A Benchmark for Long-Horizon Sequential Decision Making
• Title（参考訳）: KellyBench: 長距離シーケンス決定のためのベンチマーク
• Abstract要約: スポーツベッティング市場におけるシーケンシャルな意思決定評価環境であるKellyBenchを紹介する。 エージェントは2023-24年のイングランド・プレミアリーグシーズンの連続シミュレーションに置かれる。 評価されたすべてのフロンティアモデルは、シーズン平均で5つの種で損失を被ることがわかった。
• 参考スコア（独自算出の注目度）: 0.6180808157777046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are saturating benchmarks for procedural tasks with narrow objectives. But they are increasingly being deployed in long-horizon, non-stationary environments with open-ended goals. In this paper we introduce KellyBench, an environment for evaluating sequential decision-making in sports betting markets. Agents are placed in a sequential simulation of the 2023-24 English Premier League season and tasked with maximising their long-term bankroll growth. They are given detailed historical data, including advanced statistics, lineups, and public odds. To succeed they must build machine learning models, identify edge in public markets, and adapt as the environment changes over time. We find that all frontier models evaluated lose money on average over the course of the season for five seeds. The best performing model achieves an average return of -8%, and many models experiencing ruin across seeds. To judge strategy sophistication, we use a human expert rubric to grade each model and find their approaches to be unsophisticated compared to human baselines; Claude Opus 4.6 achieves a rubric score of 26.5%, which means there is significant room for improvement. KellyBench is available as an open-access API endpoint at https://openreward.ai/GeneralReasoning/KellyBench.
• Abstract（参考訳）: 言語モデルは、狭い目的を持った手続きタスクのベンチマークを飽和させています。 しかし、長期的かつ非定常的な環境において、オープンな目標を掲げて展開されることがますます増えている。 本稿では,スポーツベッティング市場における逐次意思決定評価環境であるKellyBenchを紹介する。 エージェントは2023-24年のイングランド・プレミアリーグシーズンの連続シミュレーションに置かれ、長期の銀行成長を最大化する。 彼らは、高度な統計、ラインナップ、公的な確率など、詳細な歴史データを与えられている。 成功するためには、機械学習モデルを構築し、公開市場のエッジを特定し、時間とともに環境が変わるように適応する必要があります。 評価されたすべてのフロンティアモデルは、シーズン平均で5つの種で損失を被ることがわかった。 最高のパフォーマンスモデルは平均-8%のリターンを達成し、多くのモデルは種子をまたいだ破壊を経験する。 戦略の高度化を判断するために、我々は、人間専門家のルーリックを用いて各モデルを格付けし、そのアプローチが人間のベースラインと比べて洗練されていないことを見つけ、Claude Opus 4.6は26.5%のルーリックスコアを達成し、改善の余地がかなりあることを意味する。 KellyBenchはhttps://openreward.ai/GeneralReasoning/KellyBenchでオープンアクセスAPIエンドポイントとして利用できる。

関連論文リスト

• E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation [54.50499240166176]
  E-Commerce Benchは、マルチラウンドのネゴシエーションと動的イベントを1年間のビジネス運用に統合する、最初のオープンソースベンチマークです。 年末の資産を含む7次元にわたる18のフロンティアモデルを評価し,1つのモデルが支配的でないことを発見した。
  論文  参考訳（メタデータ） (2026-08-31T13:03:57Z)
• One Capability or Many? Testing the Economic Validity of Frontier AI Evaluation [0.0]
  ベンチマークが一般的なテストテイクとは異なる能力を測定するかどうかをテストする。 経済ベンチマークは、主に日付駆動の一般的な要因に漸進的な予測情報を追加する。 リーダーボードは依然として全体的な進歩のための健全なガイドだが、数ヶ月後にリリースされたモデル間のギャップのほとんどはカレンダーである。
  論文  参考訳（メタデータ） (2026-08-29T19:55:20Z)
• FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents [16.48804532565337]
  FM-Bench (Football Management Benchmark) は有界タスクを計測する。 エージェントは26のツールと約340から400の意思決定停止で20年間サッカークラブを運営している。 全てのライバル、取引業者、契約交渉、施設と若者への投資、ラインナップの設定、そしてそれを解雇できる委員会への回答と同じ予算でチームを起草する。
  論文  参考訳（メタデータ） (2026-08-19T01:33:36Z)
• FIFA World Cup 2026 as a Contamination-Free Benchmark for LLM Forecasting Agents: Four Models, a Bookmaker, and 104 Matches [2.8722431362974077]
  大規模言語モデル(LLM)を評価するためのベンチマークとデータセットであるWC2026-Agentsを紹介する。 2026 FIFAワールドカップの104試合ごとに、4つのフロンティアモデルが同一のサーチ・アクト・リフレクト・ループを実行した。 4人のエージェントを、同じ情報環境から引き出された5番目の競合相手と組み合わせます。
  論文  参考訳（メタデータ） (2026-07-20T10:00:11Z)
• SpatialBench: Is Your Spatial Foundation Model an All-Round Player? [92.031716744172]
  空間ベンチ(SpatialBench)は、決定論的サンプリングを伴う空間基盤モデルのための、クロスパラダイムなドメインディバースベンチマークである。 6つのパラダイムにまたがる41のモデルを4つの異なる入力密度設定の下で5つのタスクスイートで包括的に評価する。 厳密なドメインアライメントと高いデータ品質が、単純なデータセットスケーリングよりもパフォーマンスに極めて重要であることを示す。
  論文  参考訳（メタデータ） (2026-05-26T17:59:20Z)
• HorizonBench: Long-Horizon Personalization with Evolving Preferences [73.32940850193681]
  構造化されたメンタルステートグラフから会話を生成するデータジェネレータを導入する。 そこからHorizonBenchを構築する。これは6ヶ月の会話履歴を持つ360のシミュレーションユーザーから4,245項目のベンチマークである。 HorizonBenchは、長期コンテキストモデリング、メモリ拡張アーキテクチャ、理論・オブ・ミンド推論、ユーザーモデリングのためのテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-04-19T06:55:10Z)
• Prediction Arena: Benchmarking AI Models on Real-World Prediction Markets [0.0]
  Prediction Arenaは、AIモデルの予測精度と意思決定を評価するためのベンチマークである。 ライブトレーディングにおける6つのフロンティアモデル(Cohort 1, full period)と、ペーパートレーディングにおける4つの次世代モデル(Cohort 2, 3-day pre)の2つのコホートを追跡。 我々の分析では、初期予測精度と正しい予測を活用できる能力が主な要因である、明確な性能階層を同定する。
  論文  参考訳（メタデータ） (2026-03-28T06:13:17Z)
• How2Everything: Mining the Web for How-To Procedures to Evaluate and Improve LLMs [49.61011897610774]
  How2Everythingは、ゴール条件ドプロシージャの生成を評価し改善するフレームワークである。 私たちのフレームワークには、14トピックにわたる980KのWebページから351KのプロシージャをマイニングするHow2Mineが含まれています。 How2Score(ハウ2スコア)は、LLMジャッジを使用して、世代が目標達成を阻止する重要な障害を含むかどうかを検出する評価プロトコルである。
  論文  参考訳（メタデータ） (2026-02-09T15:47:14Z)
• Intention-Conditioned Flow Occupancy Models [80.42634994902858]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• A data-driven framework for team selection in Fantasy Premier League [0.552480439325792]
  一定の予算の下で、マネージャーは将来のファンタシー・プレミアリーグのポイントを最大化するためにチームを選ぶ。 本研究では,ラインアップ選択をデータ駆動最適化として定式化する。 2023/24シーズンのプレミアリーグでの試験では、ARIMAは予算に制約があり、ローリングウインドウは最も一貫したアウト・オブ・サンプルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-05-04T16:21:59Z)
• One Thousand and One Pairs: A "novel" challenge for long-context language models [56.60667988954638]
  NoChaは、67冊の架空の書籍に関する1,001対の真偽の主張のデータセットである。 当社のアノテータは、NoChaにおけるペアの最大シェアは、本全体に対するグローバルな推論を必要としていることを確認しています。 平均的なモデルでは、文レベルの検索しか必要としないペアの方が、グローバルな推論よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-06-24T02:03:57Z)
• Evaluating Soccer Match Prediction Models: A Deep Learning Approach and Feature Optimization for Gradient-Boosted Trees [0.8009842832476994]
  2023年のサッカーの予測チャレンジでは、まず各チームが得点した正確なゴールについて、次に勝利、引き分け、負けの確率について、試合結果の予測が必要とされた。 CatBoost モデルは pi-ratings を特徴として用いており、これは最初は win/draw/loss 確率を計算するのに最適な選択肢として認識されていた。 本研究では,ディープラーニングモデルの性能を評価し,勾配木モデルに最適な特徴セットを決定することを目的とした。
  論文  参考訳（メタデータ） (2023-09-26T10:05:46Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• Using Experts' Opinions in Machine Learning Tasks [0.0]
  機械学習タスクにおける専門家の洞察を活用するための一般的な3段階のフレームワークを提案する。 ケーススタディでは,カグル競技会の焦点となったNCAA男子バスケットボールの試合を予測するタスクを選択した。 その結果、過去のモデルの性能と高いスコアは偶然の結果であり、優れた性能と安定したモデルによるものではないことが示唆された。
  論文  参考訳（メタデータ） (2020-08-10T15:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。