論文の概要: Winning Gold at IMO 2025 with a Model-Agnostic Verification-and-Refinement Pipeline

• arxiv url: http://arxiv.org/abs/2507.15855v4
• Date: Tue, 30 Sep 2025 17:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.058196
• Title: Winning Gold at IMO 2025 with a Model-Agnostic Verification-and-Refinement Pipeline
• Title（参考訳）: IMO 2025における金の獲得 : モデルに依存しない検証・精製パイプライン
• Authors: Yichen Huang, Lin F. Yang,
• Abstract要約: 大規模な言語モデルは、しばしばオリンピアードレベルの問題と競合する。 我々は,モデルに依存しない検証・修正パイプラインを構築した。 IMO 2025において、その効果を実証した。
• 参考スコア（独自算出の注目度）: 10.177917426690703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The International Mathematical Olympiad (IMO) is widely regarded as the world championship of high-school mathematics. IMO problems are renowned for their difficulty and novelty, demanding deep insight, creativity, and rigor. Although large language models perform well on many mathematical benchmarks, they often struggle with Olympiad-level problems. Using carefully designed prompts, we construct a model-agnostic, verification-and-refinement pipeline. We demonstrate its effectiveness on the recent IMO 2025, avoiding data contamination for models released before the competition. Equipped with any of the three leading models -- Gemini 2.5 Pro, Grok-4, or GPT-5 -- our pipeline correctly solved 5 out of the 6 problems ($\approx$85.7% accuracy). This is in sharp contrast to their baseline accuracies: 31.6% (Gemini 2.5 Pro), 21.4% (Grok-4), and 38.1% (GPT-5), obtained by selecting the best of 32 candidate solutions. The substantial improvement underscores that the path to advanced AI reasoning requires not only developing more powerful base models but also designing effective methodologies to harness their full potential for complex tasks.
• Abstract（参考訳）: 国際数学オリンピック(International Mathematical Olympiad, IMO)は、高校数学の世界選手権である。 IMOの問題は、その困難さと斬新さ、深い洞察、創造性、厳密さで有名である。 大規模な言語モデルは多くの数学的なベンチマークでよく機能するが、オリンピアードレベルの問題にしばしば苦労する。 慎重に設計したプロンプトを用いて、モデルに依存しない検証・修正パイプラインを構築する。 IMO 2025では、競争前のモデルに対するデータ汚染を回避し、その効果を実証する。 Gemini 2.5 Pro、Grok-4、GPT-5の3つの主要なモデルが組み込まれています。 これは、31.6%(Gemini 2.5 Pro)、21.4%(Grok-4)、38.1%(GPT-5)というベースラインの精度とは対照的である。 この大幅な改善は、高度なAI推論への道筋は、より強力なベースモデルを開発するだけでなく、複雑なタスクにその潜在能力を最大限に活用するための効果的な方法論を設計する必要があることを強調している。

関連論文リスト

• mmJEE-Eval: A Bilingual Multimodal Benchmark for Evaluating Scientific Reasoning in Vision-Language Models [2.0467354053171243]
  インド化学高等試験(2019-2025)の1,460問からなる多モーダルバイリンガル(英語とヒンディー語)ベンチマークである textbfmmJEE-Eval を紹介する。 GPT-5, Gemini 2.5 Pro/Flash のフロンティア VLM は,400B パラメータへのスケーリングにもかかわらず,2025 の質問に対して 77～84% の精度を達成しているのに対し,オープンソースモデルは 37～45% である。
  論文  参考訳（メタデータ） (2025-11-12T13:52:37Z)
• Towards Robust Mathematical Reasoning [41.319782208621156]
  IMO-Benchは、トップスペシャリストのパネルによって検証された高度な推論ベンチマークスイートである。 IMO-AnswerBenchは400の多様なオリンピアード問題に対して、検証可能な短い答えでモデルを最初にテストした。 IMO-Proof Benchは、証明書記能力の次のレベル評価である。
  論文  参考訳（メタデータ） (2025-11-03T18:53:02Z)
• BeyondBench: Benchmark-Free Evaluation of Reasoning in Language Models [13.380359214677176]
  インターネット規模のトレーニングデータから汚染を避けるための評価フレームワークであるBeyondBenchを紹介する。 本フレームワークでは,44のアルゴリズムタスクを117のバリエーションでカバーし,3つの難易度に分類する。 85のオープンソースモデルと16のクローズドソースモデルを含む101の言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-09-29T02:49:01Z)
• WirelessMathLM: Teaching Mathematical Reasoning for LLMs in Wireless Communications with Reinforcement Learning [51.13280433665446]
  大規模言語モデル(LLM)は、一般的な数学的推論では優れているが、専門的な技術的数学では破滅的に失敗する。 無線通信では、問題は情報理論的境界の正確な操作を必要とするが、最先端のモデルでさえ有能な性能を達成するのに苦労する。 本稿では、コンパクトモデル(0.5B-7Bパラメータ)がドメイン固有強化学習により、より大きなモデルに適合または超えることを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:58:03Z)
• Seed-Prover: Deep and Broad Reasoning for Automated Theorem Proving [36.20164235042574]
  本研究では,レムマ型全耐久推論モデルである textbfSeed-Prover を提案する。 IMOレベルの競合問題を解決するために、深い推論と広い推論の両方を可能にする3つのテストタイム推論戦略を設計する。 シード・プロバーは、過去のIMO問題の78.1%ドルを証明し、ミニF2Fを飽和させ、パットナムベンチで50%以上を達成し、それまでの最先端よりも大きな差を付けた。
  論文  参考訳（メタデータ） (2025-07-31T17:00:30Z)
• Towards Solving More Challenging IMO Problems via Decoupled Reasoning and Proving [48.22540519786074]
  最近の研究では、非公式な精度は80%を超え、公式な成功はPutnamBenchのようなベンチマークで8%以下である。 低レベルの証明生成から高レベルの推論を分離する新しいフレームワークを提案する。 提案手法は,2000年以降のIMO問題に対して,従来のオープンソース証明者が未報告の課題として評価した。
  論文  参考訳（メタデータ） (2025-07-07T22:38:49Z)
• LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming? [88.29001498765629]
  大規模言語モデル(LLM)は、競争力のあるプログラミングにおいてエリート人間より優れています。 我々はこの主張を再考し、LLMが人間の専門家とどのように異なるのか、そしてまだ限界が残っているのかを考察する。 私たちは、Codeforces、ICPC、IOIの問題からなるベンチマークであるLiveCodeBench Proを紹介します。 オリンピアードのメダリストのチームはアルゴリズムカテゴリーのあらゆる問題に注釈を付け、失敗したモデル生成の提出をライン・バイ・ラインで分析する。
  論文  参考訳（メタデータ） (2025-06-13T16:29:09Z)
• Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad [0.8030359871216614]
  我々は2025年のUSAMOの6つの問題に対して、最先端の推論モデルを評価する。 Gemini-2.5-Proのみが25%という非自明なスコアを達成している。 以上の結果から,現在のLLMは厳密な数学的推論作業には不十分であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-27T19:21:05Z)
• Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
  OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-03-27T11:20:17Z)
• PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models [59.920971312822736]
  本稿では,高品質なオリンピアードレベルの数学問題を自動生成する新しい手法であるPromptCoTを紹介する。 提案手法は,問題構築の背景にある数学的概念と理論的根拠に基づいて複雑な問題を合成する。 提案手法は, GSM8K, MATH-500, AIME2024などの標準ベンチマークで評価され, 既存の問題生成手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-03-04T06:32:30Z)
• UGMathBench: A Diverse and Dynamic Benchmark for Undergraduate-Level Mathematical Reasoning with Large Language Models [11.964085209696051]
  UGMathBenchは16の被験者5,062の課題と111のトピックで構成され、10の異なる回答タイプが特徴である。 それぞれの問題には3つのランダム化バージョンが含まれており、主要なオープンソース LLM が UGMathBench で飽和するにつれて、リリースに向けて追加バージョンが計画されている。 LLMを23個評価した結果, OpenAI-o1-mini による EAcc のロバスト性は 56.3% であり,それぞれ異なるモデルで大きな$Delta$値が観測された。
  論文  参考訳（メタデータ） (2025-01-23T15:46:43Z)
• HARP: A challenging human-annotated math reasoning benchmark [7.691786865279827]
  本稿では,米国数学コンペティション(A(J)HSME,AMC,AIME,USA(J)MO)の5,409個の問題からなるHARP(Human Annotated Reasoning Problems)を紹介する。 そのうち4,780の回答は自動的にチェックできる(SymPyなどのライブラリで)。 これらの問題には6つの難易度があり、フロンティアモデルは197の最も難しいブラケット(平均41.1%のo1-mini、9.6%のGemini 1.5 Pro)で比較的性能が劣っている。 私たちのデータセットには、複数の選択肢(4,110問題)と、平均2つの人書き文字も備えています。
  論文  参考訳（メタデータ） (2024-12-11T23:31:06Z)
• ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
  本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。 ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。 我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T15:11:40Z)
• Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models [63.31878920079154]
  Olympiadレベルでの大規模言語モデルの数学的推論を評価するためのベンチマークを提案する。 既存のOlympiad関連のベンチマークとは違って、我々のデータセットは数学に特化しており、厳密な人間のアノテーションを使った4428の競合レベルの問題の膨大なコレクションを含んでいる。 実験の結果,最も先進的なモデルであるOpenAI o1-miniとOpenAI o1-previewでさえ,60.54%と52.55%の精度で,オリンピアードレベルの問題に悩まされ,オリンピアードレベルの数学的推論において重大な課題が浮き彫りにされていることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T14:39:33Z)
• OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems [62.06169250463104]
  我々はOlympiadレベルのバイリンガル・マルチモーダル・サイエンス・ベンチマークであるOlympiadBenchを紹介し、Olympiadレベルの数学と物理学のコンペティションの8,476の問題を特徴とする。 最も優れたモデルであるGPT-4Vはオリンピアドベンチで平均17.97%を獲得し、物理学ではわずか10.74%である。 GPT-4Vの分析では、幻覚、知識欠失、論理的誤信などの問題が指摘されている。
  論文  参考訳（メタデータ） (2024-02-21T18:49:26Z)
• An In-depth Look at Gemini's Language Abilities [49.897870833250494]
  OpenAI GPTとGoogle Geminiモデルの能力を比較する。 この分析は、さまざまな言語能力をテストする10のデータセットに対して実施します。 Gemini Pro は GPT 3.5 Turbo よりも近いがわずかに劣る精度を実現している。
  論文  参考訳（メタデータ） (2023-12-18T18:47:42Z)
• MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning [60.208045804204076]
  我々は,一般的な数学問題解決に適したオープンソースの大規模言語モデル(LLM)であるMAmmoTHを紹介する。 MAmmoTHモデルは、厳密にキュレートされた命令チューニングデータセットであるMathInstructでトレーニングされている。
  論文  参考訳（メタデータ） (2023-09-11T17:47:22Z)
• Have LLMs Advanced Enough? A Challenging Problem Solving Benchmark For Large Language Models [23.344490944210456]
  515Benchは,大規模言語モデル(LLM)の問題解決能力を評価するための,より困難なベンチマークデータセットである。 高度に競争力のあるIIT-Advanced試験から, 数学, 物理, 化学の課題を解き明かす。 さまざまなオープンソースおよびプロプライエタリなモデルに対する評価から,自己整合性や自己抑制性,チェーン・オブ・フォアリングといったテクニックを使用したとしても,最高のパフォーマンスは40%未満であることが分かる。
  論文  参考訳（メタデータ） (2023-05-24T11:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。