論文の概要: Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

• arxiv url: http://arxiv.org/abs/2606.21972v1
• Date: Sat, 20 Jun 2026 10:01:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 23:28:17.992254
• Title: Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis
• Title（参考訳）: プロジェクト・オイラーにおける人間対機械数学の難しさ:実験分析
• Authors: David Holmes, Johannes Schmitt,
• Abstract要約: 我々は,フロンティアAIシステムの取り組みと成功確率が,プロジェクト・オイラーの問題に対する人間の困難さとどのようにスケールするかを検討する。 MathArenaのベンチマークから得られたデータセットは、50の課題にまたがる3840の試行と26のモデル構成で構成されています。
• 参考スコア（独自算出の注目度）: 0.3070424190973324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how the effort and success probability of frontier AI systems scale with human difficulty on problems from Project Euler, an online platform of computational mathematics problems. Our dataset, from the MathArena benchmark, consists of 3840 attempts across 50 problems and 26 model configurations, with problem difficulty measured by the site's public human solve times. Motivated by a proposal of Timothy Gowers, we test a power-law relation $t_{\text{machine}} = a \cdot t_{\text{human}}^b$ between generated-token cost per successful answer and human time, and find $b < 1$ for 20 of the 25 models with usable fits, including the strongest base models; this operationalization therefore does not support an earlier prediction that machines scale worse than humans with difficulty. We also investigate whether success probability on the tested problems can be modeled by a simple exponential decay $p_{\text{success}} = e^{c t_{\text{human}}}$, predicting a linear relation between $\log p_{\text{success}}$ and $t_{\text{human}}$. Using a binning approach for data aggregation we find moderate empirical support (median bin-level $R^2 = 0.92$ across the 22 best-covered configurations) for this model. Following METR, we also fit logistic success curves and extract 50\% task-length horizons $h_{50}$; the strongest configurations in our 20 April 2026 snapshot reach roughly $2.5$--$4.3$ hours on our fastest-five human baseline, with a log-linear fit through the state-of-the-art frontier giving a descriptive doubling time of about $75$~days for the SOTA $h_{50}$.
• Abstract（参考訳）: 我々は,計算数学問題のオンラインプラットフォームであるProject Eulerの課題に対して,フロンティアAIシステムの取り組みと成功確率を人間の困難とともにスケールさせる方法について検討する。 私たちのデータセットは、MathArenaベンチマークから得られたもので、50の課題にまたがる3840の試行と26のモデル構成で構成されています。 Timothy Gowersの提案に触発されて、私たちは、成功している回答と人間の時間に対して生成されたコストの間にある、パワー-ロー関係 $t_{\text{machine}} = a \cdot t_{\text{human}}^b$ をテストしました。 また、テストされた問題に対する成功確率は、単純な指数関数的崩壊$p_{\text{success}} = e^{c t_{\text{human}}}$でモデル化でき、$\log p_{\text{success}}$と$t_{\text{human}}$の線形関係を予測する。 データアグリゲーションにビンニングアプローチを用いると、このモデルに対する適度な経験的サポート(中間ビンレベル$R^2 = 0.92$)が見つかる。 METRに続いて、ロジスティックな成功曲線を適合させ、50\%のタスク長水平線を$h_{50}$で抽出します。2026年4月20日のスナップショットで最も強い構成は、私たちの最速5つのベースラインで2.5$-4.3$時間に達します。

関連論文リスト

• ResearchMath-14K: Scaling Research-Level Mathematics via Agents [22.48828824950799]
  我々は,マルチエージェントパイプラインを通じて学術資料から計算した一連の問題であるResearchMath-14kを紹介する。 我々は,非試行や製造基準など,繰り返し発生する回避行動を観察した。 我々はResearchMath-14kを今後の研究レベルの数学的推論のために公開する。
  論文  参考訳（メタデータ） (2026-05-27T05:54:41Z)
• SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers [13.763623961742391]
  textbfSAND-Math (textbfSynthetic textbfAugmented textbfNovel and textbfDifficult Mathematics problem and Solution)は,高品質な問題をゼロから解決するパイプラインである。 提案手法の有効性を2つの重要な知見から実証する。
  論文  参考訳（メタデータ） (2025-07-28T05:17:48Z)
• On Computational Limits and Provably Efficient Criteria of Visual Autoregressive Models: A Fine-Grained Complexity Analysis [22.641550077885686]
  我々は,Visual Autoregressive(mathsf/$)モデルの計算限界と効率基準を分析する。 より詳細な複雑性理論からStrong Exponential Time hypothesis(mathsfSETH$)を仮定すると、$mathsf/$モデルに対する準量子時間アルゴリズムは不可能である。 私たちの技術は、$mathsf/$フレームワークでスケーラブルで効率的な画像生成を推し進めることに重点を置いています。
  論文  参考訳（メタデータ） (2025-01-08T09:34:15Z)
• Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [72.69498649272347]
  条件分布は機械学習の中心的な問題です ペアデータとペアデータの両方を統合する新しいパラダイムを提案する。 提案手法は任意の誤差で理論上真の条件分布を復元可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-03T16:12:59Z)
• Matching the Statistical Query Lower Bound for $k$-Sparse Parity Problems with Sign Stochastic Gradient Descent [83.85536329832722]
  我々は、2層完全連結ニューラルネットワーク上での符号勾配降下(SGD)による$k$スパースパリティ問題を解く。 このアプローチは、$d$次元ハイパーキューブ上での$k$スパースパリティ問題を効率的に解くことができることを示す。 次に、符号SGDを持つトレーニングニューラルネットワークが、この優れたネットワークを効果的に近似し、小さな統計的誤差で$k$-parity問題を解く方法を示す。
  論文  参考訳（メタデータ） (2024-04-18T17:57:53Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• A Spectral Approach to Item Response Theory [6.5268245109828005]
  本稿では,Raschモデルに対する新しい項目推定アルゴリズムを提案する。 我々のアルゴリズムの中核は、アイテム-イムグラフ上で定義されたマルコフ連鎖の定常分布の計算である。 合成および実生活データセットの実験により、我々のアルゴリズムは、文献でよく使われている手法とスケーラブルで正確で競合することを示した。
  論文  参考訳（メタデータ） (2022-10-09T18:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。