論文の概要: PyraMathBench: Evaluating and Improving Mathematical Capability in Large Language Models
- arxiv url: http://arxiv.org/abs/2606.03858v1
- Date: Tue, 02 Jun 2026 16:32:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.161036
- Title: PyraMathBench: Evaluating and Improving Mathematical Capability in Large Language Models
- Title（参考訳）: PyraMathBench: 大規模言語モデルにおける数学的能力の評価と改善
- Authors: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He,
- Abstract要約: PyraMathBenchは7,404の数学語問題から32,505の質問を抽出した総合ベンチマークである。
実験の結果,LLMの性能は数値計算が不十分で,抽象的な数値問題に対する弱い処理によって著しく損なわれていることが明らかとなった。
本稿では,LLMの数値的相乗効果を高めるために,Smart Optimization & Learning-based VErsatile Module (SOLVE)とInteractive Relative Policy Optimization (IRPO)を提案する。
- 参考スコア（独自算出の注目度）: 31.37252086950609
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the pivotal role of numerical reasoning as the cornerstone of mathematical capabilities in large language models (LLMs) across applications, few benchmarks evaluate LLMs by integrating numerical processing and mathematical reasoning, hindering the interpretability of failures in math tasks. We introduce PyraMathBench, a comprehensive hierarchical benchmark with 32,505 questions derived from 7,404 math word problems, spanning 4 key cognitive aspects, 14 subcategories, and 2 modalities. Experiments reveal that LLMs' performance is severely compromised by inadequate numerical computation and weak handling of abstract numerical questions. To address this, we propose the Smart Optimization & Learning-based VErsatile module (SOLVE) and Interactive Relative Policy Optimization (IRPO), which enhance LLMs' numerical-mathematical synergy via efficient tool calls (fuzzy matching and low-quality call rejection). Comparative experiments show Qwen-2.5 achieves a 5.0 score improvement with SOLVE and IRPO training.
- Abstract（参考訳）: 大規模言語モデル(LLM)における数学的能力の基盤として数値推論が重要な役割を果たしているにもかかわらず、数値処理と数学的推論を統合することでLLMを評価するベンチマークはほとんどなく、数学タスクにおける失敗の解釈可能性を妨げる。
7,404の単語問題から抽出した32,505の質問を総合的な階層的ベンチマークであるPiraMathBenchを紹介し,4つの重要な認知的側面,14のサブカテゴリ,2つのモダリティにまたがる。
実験の結果、LLMの性能は数値計算が不十分で、抽象的な数値問題に対する弱い処理によって著しく損なわれていることが明らかとなった。
そこで我々は,LLMの数値的相乗効果を,効率的なツールコール(ファジィマッチングと低品質呼び出し拒否)によって向上させる,スマート最適化・学習型VErsatileモジュール(SOLVE)とインタラクティブ相対ポリシー最適化(IRPO)を提案する。
比較実験では、Qwen-2.5はSOLVEとIRPOのトレーニングで5.0のスコア向上を達成した。
関連論文リスト
- An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems [48.10132234701036]
我々は,LLMの数学的推論的ロバスト性を評価するための体系的枠組みを導入する。
我々は、数学的に等価だが言語的およびパラメトリックなバリエーションを持つ高度な数学問題に対して、それらをストレステストする。
この新たな評価手法を用いて,新しいベンチマークデータセットであるPatnamGAPを開発した。
論文 参考訳（メタデータ） (2025-08-12T10:40:33Z) - Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。
OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
論文 参考訳（メタデータ） (2025-03-27T11:20:17Z) - HARDMath: A Benchmark Dataset for Challenging Problems in Applied Mathematics [1.5716764919736026]
本稿では,解析的近似技術を必要とする応用数学問題に挑戦するデータセットであるHARDMathを紹介する。
本フレームワークは,数値基底真理に対して検証された解を用いて,多数の問題を自動生成する。
HARDMath-miniは,366問題からなるサブサンプルテストセットであり,応用科学の文脈で定式化された40の単語問題に対して,オープンソースLLMとクローズドソースLLMの両方を評価する。
論文 参考訳（メタデータ） (2024-10-13T20:09:41Z) - ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。
ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。
2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。
GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
論文 参考訳（メタデータ） (2024-10-06T14:59:09Z) - MathScape: Benchmarking Multimodal Large Language Models in Real-World Mathematical Contexts [18.91777213491096]
現実的な数学的文脈におけるMLLMの推論能力を評価することに焦点を当てた新しいベンチマークであるMathScapeを紹介する。
MathScapeは、1,369の高品質な数学問題と、人間のキャプチャーされた現実世界の画像からなる。
我々は,9つの主要なクローズドソースMLLM,200億以上のパラメータを持つ3つのオープンソースMLLM,そして7つの小規模MLLMに対して,徹底的な多次元評価を行う。
論文 参考訳（メタデータ） (2024-08-14T13:23:43Z) - GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。
1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。
このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文 参考訳（メタデータ） (2024-02-29T15:26:14Z) - Lila: A Unified Benchmark for Mathematical Reasoning [59.97570380432861]
LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。
我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。
LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
論文 参考訳（メタデータ） (2022-10-31T17:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。