論文の概要: EvolMathEval: Towards Evolvable Benchmarks for Mathematical Reasoning via Evolutionary Testing

• arxiv url: http://arxiv.org/abs/2508.13003v1
• Date: Mon, 18 Aug 2025 15:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.44605
• Title: EvolMathEval: Towards Evolvable Benchmarks for Mathematical Reasoning via Evolutionary Testing
• Title（参考訳）: EvolMathEval: 進化的テストによる数学的推論のための進化可能なベンチマークを目指して
• Authors: Shengbo Wang, Mingwei Liu, Zike Li, Anji Li, Yanlin Wang, Xin Peng, Zibin Zheng,
• Abstract要約: 本稿では,進化テストに基づく自動ベンチマーク生成および進化フレームワークであるEvolMathEvalを紹介する。 ユニークな評価インスタンスab initioを動的に生成することにより、このフレームワークはデータ汚染のリスクを根本的に排除する。 EvolMathEvalは、連続的な自己イテレーションを通じて大量の高次問題を生成するだけでなく、公開データセットの複雑さを大幅に高めることもできる。
• 参考スコア（独自算出の注目度）: 26.594095530084996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of LLMs poses a significant challenge to existing mathematical reasoning benchmarks. These benchmarks commonly suffer from issues such as score saturation, temporal decay, and data contamination. To address this challenge, this paper introduces EvolMathEval, an automated mathematical benchmark generation and evolution framework based on evolutionary testing. By dynamically generating unique evaluation instances ab initio, the framework fundamentally eliminates the risk of data contamination, and ensuring the benchmark remains perpetually challenging for future models.The core mechanisms of EvolMathEval include: seed problem generation based on reverse engineering with algebraic guarantees; multi-dimensional genetic operators designed to inject diverse cognitive challenges; and a composite fitness function that can rapidly and accurately assess problem difficulty. Experimental results demonstrate that the proposed composite fitness function can efficiently and precisely quantify the difficulty of mathematical problems. Furthermore, EvolMathEval can not only generate a large volume of high-difficulty problems through continuous self-iteration, but it can also significantly enhance the complexity of public datasets like GSM8K through evolution, reducing model accuracy by an average of 48%. Deeper investigation reveals that when solving these evolved, complex problems, LLMs tend to employ non-rigorous heuristics to bypass complex multi-step logical reasoning, consequently leading to incorrect solutions. We define this phenomenon as "Pseudo Aha Moment". This finding uncovers a cognitive shortcut-taking behavior in the deep reasoning processes of current LLMs, which we find accounts for 77% to 100% of errors on targeted problems. Code and resources are available at:https://github.com/SYSUSELab/EvolMathEval.
• Abstract（参考訳）: LLMの急速な進歩は、既存の数学的推論ベンチマークに重大な課題をもたらす。 これらのベンチマークは通常、スコア飽和、時間減衰、データ汚染といった問題に悩まされる。 この課題に対処するために、進化テストに基づく自動数学ベンチマーク生成および進化フレームワークであるEvolMathEvalを紹介した。 EvolMathEvalのコアメカニズムは、代数的保証付きリバースエンジニアリングに基づくシード問題生成、多様な認知課題を注入するために設計された多次元遺伝演算子、および問題を迅速かつ正確に評価できる複合フィットネス機能である。 実験により, 提案した複合フィットネス関数は, 数学的問題の難しさを効率的に, 正確に定量化できることを示した。 さらに、EvolMathEvalは連続的な自己イテレーションによって大量の高次問題を生成するだけでなく、進化を通じてGSM8Kのような公開データセットの複雑さを著しく高め、平均48%の精度でモデルの精度を低下させることができる。 より深い調査は、これらの進化した複雑な問題を解く際に、LLMは複雑な多段階論理的推論をバイパスするために非厳密なヒューリスティックを使う傾向にあり、結果として誤った解をもたらすことを明らかにしている。 この現象をPseudo Aha Momentと定義する。 この発見は、現在のLLMの深い推論過程における認知的ショートカットの行動を明らかにする。 コードとリソースは、https://github.com/SYSUSELab/EvolMathEval.comで入手できる。

関連論文リスト

• DéjàQ: Open-Ended Evolution of Diverse, Learnable and Verifiable Problems [19.381443841718596]
  DéjQは、モデルトレーニングと並行して、多様な数学的問題の集合を進化させるフレームワークである。 この進化過程は訓練を通じてモデルの能力に適応し、学習可能性に関する問題を最適化する。 このモデルが新規で有意義な問題を生じさせ,これらのLSMによる突然変異がRLトレーニングを改善することが判明した。
  論文  参考訳（メタデータ） (2026-01-05T09:27:49Z)
• RIDE: Difficulty Evolving Perturbation with Item Response Theory for Mathematical Reasoning [26.91583214616048]
  大規模言語モデル (LLM) は数学的推論において高い性能を達成する。 現在の規則に基づく摂動法は、しばしば不適切な質問を発生させる。 本稿では,新しい逆問題書き換えフレームワーク RIDE を提案する。
  論文  参考訳（メタデータ） (2025-11-06T07:10:17Z)
• MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
  ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。 我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。 トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
  論文  参考訳（メタデータ） (2025-10-09T17:53:58Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• OMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative Generalization [88.76091817642963]
  最近の大規模言語モデル (LLMs) は、DeepSeek-R1-のような長い鎖の推論を持ち、オリンピアード級数学において印象的な成果を上げている。 本稿では,3つの分布外一般化の軸を評価するために設計された3つの一般化 Axes-a ベンチマークを用いた OMEGA-Out-of-distriion Math Problems Evaluation を提案する。
  論文  参考訳（メタデータ） (2025-06-23T17:51:40Z)
• RV-Syn: Rational and Verifiable Mathematical Reasoning Data Synthesis based on Structured Function Library [58.404895570822184]
  RV-Synは、新しい数学的合成手法である。 このライブラリからPython形式の関数を組み合わせることで、グラフをソリューションとして生成する。 構築したグラフに基づいて,解誘導論理認識問題生成を実現する。
  論文  参考訳（メタデータ） (2025-04-29T04:42:02Z)
• Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
  OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-03-27T11:20:17Z)
• SuperARC: An Agnostic Test for Narrow, General, and Super Intelligence Based On the Principles of Recursive Compression and Algorithmic Probability [0.14061979259370275]
  アルゴリズムの確率を基礎としたオープンエンドテストを導入する。 これはフロンティアモデルの定量的評価においてベンチマーク汚染を避けることができる。 圧縮はシステムの予測力と等価であり、直接的に比例することを示す。
  論文  参考訳（メタデータ） (2025-03-20T23:11:30Z)
• MetaLadder: Ascending Mathematical Solution Quality via Analogical-Problem Reasoning Transfer [37.81465564673498]
  大規模言語モデル(LLM)は、数学的推論タスクを解く上で有望な能力を示した。 メタプロブレムのリコールとリフレクションを LLM に明示的に促すフレームワークである textbfMetaLadder を提案する。 我々のMetaLadderはLLMの問題解決精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-19T04:36:35Z)
• PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models [59.920971312822736]
  本稿では,高品質なオリンピアードレベルの数学問題を自動生成する新しい手法であるPromptCoTを紹介する。 提案手法は,問題構築の背景にある数学的概念と理論的根拠に基づいて複雑な問題を合成する。 提案手法は, GSM8K, MATH-500, AIME2024などの標準ベンチマークで評価され, 既存の問題生成手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-03-04T06:32:30Z)
• FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving [90.88021670297664]
  FINEREASONは、大規模言語モデルの推論能力を評価するための論理パズルベンチマークである。 状態チェックと状態遷移という2つのタスクを導入し、モデルが現在の状況をどのように評価するかを総合的に評価し、次の動きを計画する。 状態チェックと遷移データに基づいてトレーニングされたモデルでは、GSM8Kで最大5.1%の精度で数学推論が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-27T16:23:25Z)
• Iterative Deepening Sampling as Efficient Test-Time Scaling [27.807695570974644]
  OpenAIのO1シリーズのような最近の推論モデルは、複雑な推論タスクにおいて例外的なパフォーマンスを示している。 本稿では,自己補正の強化と高品質なサンプル生成を目的とした,新しい反復型深層サンプリングアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-08T04:39:51Z)
• An Evolutionary Large Language Model for Hallucination Mitigation [0.0]
  本稿では,幻覚を最小化しながら高品質な質問応答データセットを生成するEvoLLMを提案する。 EvoLLMsは、Depth、Relevance、Coverageといった主要なメトリクスで、人間の生成データセットを一貫して上回る。 これらの結果は、EvoLLMをQAデータセット生成の堅牢で効率的なソリューションとして強調し、手作業によるキュレーションに必要な時間とリソースを大幅に削減した。
  論文  参考訳（メタデータ） (2024-12-03T19:40:13Z)
• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Have LLMs Advanced Enough? A Challenging Problem Solving Benchmark For Large Language Models [23.344490944210456]
  515Benchは,大規模言語モデル(LLM)の問題解決能力を評価するための,より困難なベンチマークデータセットである。 高度に競争力のあるIIT-Advanced試験から, 数学, 物理, 化学の課題を解き明かす。 さまざまなオープンソースおよびプロプライエタリなモデルに対する評価から,自己整合性や自己抑制性,チェーン・オブ・フォアリングといったテクニックを使用したとしても,最高のパフォーマンスは40%未満であることが分かる。
  論文  参考訳（メタデータ） (2023-05-24T11:55:59Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。