論文の概要: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad

• arxiv url: http://arxiv.org/abs/2503.21934v4
• Date: Wed, 30 Apr 2025 02:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.352764
• Title: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad
• Title（参考訳）: 2025年のアメリカ数学オリンピックにおけるLLMの評価
• Authors: Ivo Petrov, Jasper Dekoninck, Lyuben Baltadzhiev, Maria Drencheva, Kristian Minchev, Mislav Balunović, Nikola Jovanović, Martin Vechev,
• Abstract要約: 我々は2025年のUSAMOの6つの問題に対して、最先端の推論モデルを評価する。 Gemini-2.5-Proのみが25%という非自明なスコアを達成している。 以上の結果から,現在のLLMは厳密な数学的推論作業には不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.8030359871216614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent math benchmarks for large language models (LLMs) such as MathArena indicate that state-of-the-art reasoning models achieve impressive performance on mathematical competitions like AIME, with the leading model, Gemini-2.5-Pro, achieving scores comparable to top human competitors. However, these benchmarks evaluate models solely based on final numerical answers, neglecting rigorous reasoning and proof generation which are essential for real-world mathematical tasks. To address this, we introduce the first comprehensive evaluation of full-solution reasoning for challenging mathematical problems. Using expert human annotators, we evaluated several state-of-the-art reasoning models on the six problems from the 2025 USAMO within hours of their release. Our results reveal that all tested models struggled significantly: only Gemini-2.5-Pro achieves a non-trivial score of 25%, while all other models achieve less than 5%. Through detailed analysis of reasoning traces, we identify the most common failure modes and find several unwanted artifacts arising from the optimization strategies employed during model training. Overall, our results suggest that current LLMs are inadequate for rigorous mathematical reasoning tasks, highlighting the need for substantial improvements in reasoning and proof generation capabilities.
• Abstract（参考訳）: MathArena のような大規模言語モデル (LLM) の最近の数学ベンチマークでは、最先端の推論モデルが AIME のような数学の競争において印象的なパフォーマンスを達成し、主要なモデル Gemini-2.5-Pro がトップヒューマンの競争相手に匹敵するスコアを達成していることを示している。 しかし、これらのベンチマークは、実世界の数学的タスクに不可欠な厳密な推論と証明生成を無視して、最終的な数値解のみに基づいてモデルを評価する。 そこで本研究では,問題のある数学的問題に対する完全解法推論の包括的評価について紹介する。 専門家のアノテータを用いて,2025 USAMOの6つの問題に対する最先端の推論モデルを,リリース後数時間で評価した。 Gemini-2.5-Proだけが25%の非自明なスコアを達成し、他のモデルも5%未満のスコアを達成しました。 推論トレースの詳細な解析を通じて、最も一般的な障害モードを特定し、モデルトレーニングで使用される最適化戦略から生じるいくつかの不要なアーティファクトを見つけ出す。 以上の結果から,現在のLLMは厳密な数学的推論タスクには不十分であることが示唆され,推論や証明生成能力の大幅な改善の必要性が浮き彫りにされている。

関連論文リスト

• Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
  OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-03-27T11:20:17Z)
• Large Language Models and Mathematical Reasoning Failures [1.6114012813668932]
  本稿では,50の高校レベルの単語問題を用いた大規模言語モデル(LLM)の数学的推論能力について検討する。 最終回答と解決手順の両方を厳格に分析して、推論の失敗を特定します。 より新しいモデル(例えば、o3-mini、deepseek-r1)はより精度が高いが、全てのモデルは空間的推論、戦略的計画、算術における誤りを示す。
  論文  参考訳（メタデータ） (2025-02-17T09:07:32Z)
• MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations [90.07275414500154]
  各種モデルにおけるMATH-P-Hardの性能低下を観察する。 また、学習した問題解決スキルを盲目的に適用する新しい形態の記憶に関する懸念も提起する。
  論文  参考訳（メタデータ） (2025-02-10T13:31:46Z)
• Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
  本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。 我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。 評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
  論文  参考訳（メタデータ） (2024-12-12T21:29:00Z)
• UTMath: Math Evaluation with Unit Test via Reasoning-to-Coding Thoughts [7.856746367263317]
  本稿では,大規模言語モデルの評価を目的とした頑健な評価フレームワークであるUTMath Benchmarkを紹介する。 これは9つの数学領域にまたがる1053個の最先端問題を含み、平均68個のテストケースがある。 最高の性能モデルであるo1-miniはわずか32.57%の問題を解き、o1-previewは27.16%、GPT-4oは26.93%であった。
  論文  参考訳（メタデータ） (2024-11-11T18:59:02Z)
• Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models [63.31878920079154]
  Olympiadレベルでの大規模言語モデルの数学的推論を評価するためのベンチマークを提案する。 既存のOlympiad関連のベンチマークとは違って、我々のデータセットは数学に特化しており、厳密な人間のアノテーションを使った4428の競合レベルの問題の膨大なコレクションを含んでいる。 実験の結果,最も先進的なモデルであるOpenAI o1-miniとOpenAI o1-previewでさえ,60.54%と52.55%の精度で,オリンピアードレベルの問題に悩まされ,オリンピアードレベルの数学的推論において重大な課題が浮き彫りにされていることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T14:39:33Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• GeoEval: Benchmark for Evaluating LLMs and Multi-Modal Models on Geometry Problem-Solving [40.46491587796371]
  我々はGeoEvalベンチマーク、2,000問題の主要サブセット、750問題サブセット、2000問題の追加サブセット、300問題のハードサブセットを含む包括的コレクションを紹介する。 これらのサブセットにおける10個のLLMとMMの評価から、WizardMathモデルは、主サブセットでは55.67%の精度で、ハードサブセットでは6.00%の精度しか達成していないことが分かる。
  論文  参考訳（メタデータ） (2024-02-15T16:59:41Z)
• AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models [122.63704560157909]
  我々は,人間中心の標準化試験の文脈で基礎モデルを評価するために設計された新しいベンチマークであるAGIEvalを紹介する。 GPT-4, ChatGPT, Text-Davinci-003 など,最先端基盤モデルの評価を行った。 GPT-4はSAT、LSAT、数学の競争で平均的な人事成績を上回り、SAT Mathテストでは95%の精度で、中国国立大学入試では92.5%の精度で合格している。
  論文  参考訳（メタデータ） (2023-04-13T09:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。