論文の概要: MathArena: Evaluating LLMs on Uncontaminated Math Competitions

• arxiv url: http://arxiv.org/abs/2505.23281v1
• Date: Thu, 29 May 2025 09:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.788458
• Title: MathArena: Evaluating LLMs on Uncontaminated Math Competitions
• Title（参考訳）: MathArena: 未汚染の数学コンペティションにおけるLLMの評価
• Authors: Mislav Balunović, Jasper Dekoninck, Ivo Petrov, Nikola Jovanović, Martin Vechev,
• Abstract要約: MathArenaは、大きな言語モデル(LLM)を評価するための新しいベンチマークである。 繰り返し行われる数学コンペは、高品質で困難な問題のストリームを提供する。 MathArenaは、証明書込み機能の最初のベンチマークでもある。
• 参考スコア（独自算出の注目度）: 0.9320657506524149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of reasoning capabilities in large language models (LLMs) has led to notable improvements on mathematical benchmarks. However, many of the most commonly used evaluation datasets (e.g., AIME 2024) are widely available online, making it difficult to disentangle genuine reasoning from potential memorization. Furthermore, these benchmarks do not evaluate proof-writing capabilities, which are crucial for many mathematical tasks. To address this, we introduce MathArena, a new benchmark based on the following key insight: recurring math competitions provide a stream of high-quality, challenging problems that can be used for real-time evaluation of LLMs. By evaluating models as soon as new problems are released, we effectively eliminate the risk of contamination. Using this framework, we find strong signs of contamination in AIME 2024. Nonetheless, evaluations on harder competitions, such as SMT 2025 -- published well after model release dates -- demonstrate impressive reasoning capabilities in top-performing models. MathArena is also the first benchmark for proof-writing capabilities. On USAMO 2025, even top models score below 25%, far behind their performance on final-answer tasks. So far, we have evaluated 30 models across five competitions, totaling 149 problems. As an evolving benchmark, MathArena will continue to track the progress of LLMs on newly released competitions, ensuring rigorous and up-to-date evaluation of mathematical reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)における推論能力の急速な進歩は、数学的なベンチマークにおいて顕著な改善をもたらした。 しかし、最も一般的に使われている評価データセット(例えば、AIME 2024)はオンラインで広く利用されており、暗記の可能性から真の推論を解き放つことは困難である。 さらに、これらのベンチマークは、多くの数学的なタスクに欠かせない証明書込み能力を評価しない。 この問題に対処するために、我々は以下の重要な洞察に基づく新しいベンチマークであるMathArenaを紹介した。 繰り返し数学の競争は、LLMのリアルタイム評価に使用できる高品質で困難な問題のストリームを提供する。 新たな問題の発生と同時にモデルを評価することにより,汚染リスクを効果的に排除する。 この枠組みを用いて, AIME 2024 に汚染の強い兆候を見出した。 それにもかかわらず、SMT 2025(モデルリリースの日から順調に発行された)のような厳しい競争に対する評価は、最高のパフォーマンスのモデルで印象的な推論能力を示している。 MathArenaは、証明書込み機能の最初のベンチマークでもある。 USAMO 2025では、上位モデルでさえ25%以下であり、最終回答タスクのパフォーマンスよりもはるかに遅れている。 これまでのところ、5つのコンペで30のモデルを評価しており、合計で149の問題がある。 進化するベンチマークとして、MathArenaは、新しくリリースされた競争におけるLSMの進捗を引き続き追跡し、厳密かつ最新の数学的推論の評価を保証する。

関連論文リスト

• RealMath: A Continuous Benchmark for Evaluating Language Models on Research-Level Mathematics [21.453837660747844]
  大規模言語モデル(LLM)における数学的推論を評価するための既存のベンチマークは、主に競合問題、公式な証明、人工的な問題に依存している。 論文や数理フォーラムから直接派生した新しいベンチマークであるRealMathを導入し,実数理タスクにおけるLLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-05-18T23:32:46Z)
• Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad [0.8030359871216614]
  我々は2025年のUSAMOの6つの問題に対して、最先端の推論モデルを評価する。 Gemini-2.5-Proのみが25%という非自明なスコアを達成している。 以上の結果から,現在のLLMは厳密な数学的推論作業には不十分であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-27T19:21:05Z)
• Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
  OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-03-27T11:20:17Z)
• Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models [63.31878920079154]
  Olympiadレベルでの大規模言語モデルの数学的推論を評価するためのベンチマークを提案する。 既存のOlympiad関連のベンチマークとは違って、我々のデータセットは数学に特化しており、厳密な人間のアノテーションを使った4428の競合レベルの問題の膨大なコレクションを含んでいる。 実験の結果,最も先進的なモデルであるOpenAI o1-miniとOpenAI o1-previewでさえ,60.54%と52.55%の精度で,オリンピアードレベルの問題に悩まされ,オリンピアードレベルの数学的推論において重大な課題が浮き彫りにされていることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T14:39:33Z)
• MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs [61.74749961334557]
  MathHayは、LLMの長文数学的推論能力を評価するために設計された自動ベンチマークである。 我々は,8つのトップパフォーマンスモデルの長文数学的推論能力を評価するために,MathHayの広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-07T02:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。