論文の概要: EternalMath: A Living Benchmark of Frontier Mathematics that Evolves with Human Discovery

• arxiv url: http://arxiv.org/abs/2601.01400v1
• Date: Sun, 04 Jan 2026 06:40:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.27574
• Title: EternalMath: A Living Benchmark of Frontier Mathematics that Evolves with Human Discovery
• Title（参考訳）: EternalMath:人間の発見にまつわるフロンティア数学の生きたベンチマーク
• Abstract要約: 我々は、フロンティア数学的推論を評価するための完全自動化された定理基底パイプラインを提案する。 このパイプラインは、最近のピアレビューされた数学的文献を実行可能で検証可能な推論タスクに変換する。 このパイプラインを適用すると、現代の研究論文から派生した進化的評価スイートである textbfEternalMath が生成される。
• 参考スコア（独自算出の注目度）: 23.517907682810932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current evaluations of mathematical reasoning in large language models (LLMs) are dominated by static benchmarks, either derived from competition-style problems or curated through costly expert effort, resulting in limited coverage of research-level mathematics and rapid performance saturation. We propose a fully automated, theorem-grounded pipeline for evaluating frontier mathematical reasoning, which directly transforms recent peer-reviewed mathematical literature into executable and verifiable reasoning tasks. The pipeline identifies constructive or quantitative results, instantiates them into parameterized problem templates, and generates deterministic solutions through execution-based verification, enabling scalable, reproducible, and continuously updatable evaluation without reliance on large-scale expert authoring. By design, this approach supports temporal extensibility, intrinsic correctness checking, and domain-specific customization across mathematical subfields. Applying this pipeline yields \textbf{EternalMath}, an evolving evaluation suite derived from contemporary research papers. Experiments with state-of-the-art LLMs reveal substantial performance gaps, indicating that mathematical reasoning at the research frontier remains far from saturated and underscoring the need for evaluation methodologies that evolve in step with human mathematical discovery.
• Abstract（参考訳）: 大規模言語モデル(LLM)における数学的推論の現在の評価は、競合スタイルの問題から導かれるか、高価な専門家の努力によってキュレートされた静的なベンチマークによって支配されている。 本稿では,フロンティアの数学的推論を評価するための完全自動化された定理付きパイプラインを提案し,近年のピアレビューされた数学文献を直接,実行可能かつ検証可能な推論タスクに変換する。 パイプラインは構成的あるいは定量的な結果を特定し、パラメータ化された問題テンプレートにインスタンス化し、実行ベースの検証を通じて決定論的ソリューションを生成する。 設計上、このアプローチは時間的拡張性、本質的な正当性チェック、数学的サブフィールド間のドメイン固有のカスタマイズをサポートする。 このパイプラインを適用すると、現代の研究論文から派生した進化的評価スイートである‘textbf{EternalMath} が得られる。 最先端のLSMを用いた実験では、研究フロンティアでの数学的推論は飽和には程遠いままであり、人間の数学的発見と段階的に進化する評価方法論の必要性が強調されている。

関連論文リスト

• From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities [103.60384544335072]
  大規模言語モデル(LLM)は、エンドツーエンドの数学的推論からエージェントインテリジェンスの統合へと進化している。 本フレームワークは,問題解決エージェントの挙動を,再利用可能な数学的原子能力の構造化された分類法と整合させる。 実験により、同様のエンドツーエンドの精度を持つモデルでは、エージェント能力プロファイルが著しく異なることが判明した。
  論文  参考訳（メタデータ） (2026-08-27T10:52:06Z)
• INSPIRE: An Internalize-Then-Improve Approach for Example-Driven Mathematical Reasoning [61.60016491769943]
  人間の数学教育において、定理境界をテストするために反例を構築するような例に基づく推論は、深い概念的理解を反映している。 本稿では,RGSI(Reference-Guided Students Internalization)と段階的選好学習戦略を組み合わせた内在化・内在化アプローチであるINSPIREを提案する。 複数のモデルスケールとファミリーにわたる実験は、大規模なオープンソースモデルを超えながら、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-08-27T03:24:03Z)
• MathCoPilot: An Interactive System for Human-AI Symbiotic Paradigm of Mathematical Research [62.221184989046826]
  MathCoPilotは、数学研究のための新しいAI共生パラダイムを具現化したループシステムである。 MathCoPilotは3つのコア機能を統合する: 証明をナビゲート可能なステップに分解するインタラクティブな証明青写真、適応的な知識ベース検索とリーン統合された反復検証を備えた自動証明スキルオーケストレーション、トピック駆動の紙検索と自動形式化を検証可能なリーン知識ベースに統合する。
  論文  参考訳（メタデータ） (2026-07-16T05:22:40Z)
• Formal Conjectures: An Open and Evolving Benchmark for Verified Discovery in Mathematics [9.38309744591661]
  フォーマル・コンジェクチャ(Formal Conjectures)は、Lean 4.0で形式化された2615の数学的問題文の進化ベンチマークである。 このデータセットは、数学的な証明発見のためのゼロ汚染ベンチマークを提供する1029のオープンリサーチ予想を特徴としている。 我々は,これらの形式化の正しさを保証するためのアプローチを,アクティブなコミュニティからのコントリビューションを生かしたオープンソースプロジェクトとして紹介する。
  論文  参考訳（メタデータ） (2026-05-13T08:33:15Z)
• LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches [61.30693283718321]
  研究レベルの数学的推論のための動的多重選択ベンチマークであるLiveMathematicianBenchを提案する。 新たに発表された定理で評価を基礎づけることで、記憶されたパターンを超えた現実的なテストベッドを提供する。 このパイプラインは、高レベルな証明戦略を使用して、妥当だが無効な解選択を構築する。
  論文  参考訳（メタデータ） (2026-04-02T08:22:17Z)
• LemmaBench: A Live, Research-Level Benchmark to Evaluate LLM Capabilities in Mathematics [5.676144562388248]
  本研究では,研究レベルの数学において,大規模言語モデルの能力をベンチマークするための新しいアプローチを提案する。 既存のベンチマークは、数学研究のプロキシとして静的で手作業によるコンテストや教科書スタイルの問題に大きく依存している。 代わりに、最新の数学研究結果に基づいてモデルを直接評価する最新のベンチマークを確立する。
  論文  参考訳（メタデータ） (2026-02-27T16:52:52Z)
• Max It or Miss It: Benchmarking LLM On Solving Extremal Problems [0.0]
  数学的極端問題を解くためのベンチマークデータセットExtremBenchを紹介する。 我々は、Qwen3、GPT-OSS、DeepSeekなど、最先端のオープンソースモデルファミリーで評価を行う。 その結果、LLMの極端解法推論能力は、現在の数学ベンチマークと必ずしも一致しないことがわかった。
  論文  参考訳（メタデータ） (2025-10-14T21:23:37Z)
• PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning [57.868248683256574]
  PRISM-Physicsはプロセスレベルの評価フレームワークであり、複雑な物理推論問題のベンチマークである。 解は公式の有向非巡回グラフ(DAG)として表される。 その結果,評価フレームワークは人的専門家のスコアと一致していることがわかった。
  論文  参考訳（メタデータ） (2025-10-03T17:09:03Z)
• IMProofBench: Benchmarking AI on Research-Level Mathematical Proof Generation [4.991157581428135]
  IMProofBenchは、専門家数学者によって開発された39のピアレビューされた問題からなるプライベートベンチマークである。 それぞれの問題は詳細な証明を必要とし、最終的な答えを持つサブプロブレムと組み合わせられる。 以前のベンチマークとは異なり、評価設定は現実的な研究環境をシミュレートする。
  論文  参考訳（メタデータ） (2025-09-30T10:50:37Z)
• An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems [48.10132234701036]
  我々は,LLMの数学的推論的ロバスト性を評価するための体系的枠組みを導入する。 我々は、数学的に等価だが言語的およびパラメトリックなバリエーションを持つ高度な数学問題に対して、それらをストレステストする。 この新たな評価手法を用いて,新しいベンチマークデータセットであるPatnamGAPを開発した。
  論文  参考訳（メタデータ） (2025-08-12T10:40:33Z)
• RealMath: A Continuous Benchmark for Evaluating Language Models on Research-Level Mathematics [30.778394290919582]
  大規模言語モデル(LLM)における数学的推論を評価するための既存のベンチマークは、主に競合問題、公式な証明、人工的な問題に依存している。 論文や数理フォーラムから直接派生した新しいベンチマークであるRealMathを導入し,実数理タスクにおけるLLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-05-18T23:32:46Z)
• Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
  OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-03-27T11:20:17Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Token-Supervised Value Models for Enhancing Mathematical Problem-Solving Capabilities of Large Language Models [56.32800938317095]
  既存の検証器はテスト時の木探索技術に準最適である。 トークン制御値モデル(TVM)を提案する。 TVMは各トークンに、正しい最終回答に達する確率を反映した確率を割り当てる。
  論文  参考訳（メタデータ） (2024-07-12T13:16:50Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。