論文の概要: MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations

• arxiv url: http://arxiv.org/abs/2502.06453v2
• Date: Wed, 12 Feb 2025 23:16:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:59.002781
• Title: MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations
• Title（参考訳）: MATH-Perturb: 硬度摂動に対するLLMの数学推論能力のベンチマーク
• Authors: Kaixuan Huang, Jiacheng Guo, Zihao Li, Xiang Ji, Jiawei Ge, Wenzhe Li, Yingqing Guo, Tianle Cai, Hui Yuan, Runzhe Wang, Yue Wu, Ming Yin, Shange Tang, Yangsibo Huang, Chi Jin, Xinyun Chen, Chiyuan Zhang, Mengdi Wang,
• Abstract要約: 各種モデルにおけるMATH-P-Hardの性能低下を観察する。 また、学習した問題解決スキルを盲目的に適用する新しい形態の記憶に関する懸念も提起する。
• 参考スコア（独自算出の注目度）: 90.07275414500154
• License:
• Abstract: Large language models have demonstrated impressive performance on challenging mathematical reasoning tasks, which has triggered the discussion of whether the performance is achieved by true reasoning capability or memorization. To investigate this question, prior work has constructed mathematical benchmarks when questions undergo simple perturbations -- modifications that still preserve the underlying reasoning patterns of the solutions. However, no work has explored hard perturbations, which fundamentally change the nature of the problem so that the original solution steps do not apply. To bridge the gap, we construct MATH-P-Simple and MATH-P-Hard via simple perturbation and hard perturbation, respectively. Each consists of 279 perturbed math problems derived from level-5 (hardest) problems in the MATH dataset (Hendrycksmath et. al., 2021). We observe significant performance drops on MATH-P-Hard across various models, including o1-mini (-16.49%) and gemini-2.0-flash-thinking (-12.9%). We also raise concerns about a novel form of memorization where models blindly apply learned problem-solving skills without assessing their applicability to modified contexts. This issue is amplified when using original problems for in-context learning. We call for research efforts to address this challenge, which is critical for developing more robust and reliable reasoning models.
• Abstract（参考訳）: 大規模言語モデルは、挑戦的な数学的推論タスクにおいて印象的なパフォーマンスを示しており、真の推論能力や記憶によってパフォーマンスが達成されるかどうかの議論が引き起こされている。 この問題を調査するために、従来の研究は、単純な摂動(英語版)による疑問が解の根底にある推論パターンを保ったままに修正される際に数学的ベンチマークを構築してきた。 しかし、厳密な摂動を探求する研究は行われておらず、この問題の性質を根本的に変えて、元の解法が適用されないようにしている。 このギャップを埋めるために,MATH-P-SimpleとMATH-P-Hardをそれぞれ単純な摂動とハード摂動で構築する。 それぞれ、MATHデータセット(Hendrycksmath et al , 2021)のレベル5(最も厳しい)問題に由来する279の摂動数学問題からなる。 我々は, o1-mini (-16.49%) や gemini-2.0-flash-thinking (-12.9%) など,様々なモデルにおけるMATH-P-Hardの性能低下を観察した。 また、モデルが学習した問題解決スキルを目視で適用し、修正された文脈に適用可能かどうかを判断する新しい形態の記憶に関する懸念も提起する。 この問題は、コンテキスト内学習にオリジナルの問題を使用する際に増幅される。 我々は,より堅牢で信頼性の高い推論モデルを開発する上で重要な課題である,この問題に対処するための研究努力を求めている。

関連論文リスト

• Large Language Models and Mathematical Reasoning Failures [1.6114012813668932]
  本稿では,50の高校レベルの単語問題を用いた大規模言語モデル(LLM)の数学的推論能力について検討する。 最終回答と解決手順の両方を厳格に分析して、推論の失敗を特定します。 より新しいモデル(例えば、o3-mini、deepseek-r1)はより精度が高いが、全てのモデルは空間的推論、戦略的計画、算術における誤りを示す。
  論文  参考訳（メタデータ） (2025-02-17T09:07:32Z)
• MathConstruct: Challenging LLM Reasoning with Constructive Proofs [0.9320657506524149]
  mcは、様々な数学コンペから得られた126の課題の新しいベンチマークである。 mcは、解の正確性を容易に検証できるため、大規模言語モデルの評価に適している。
  論文  参考訳（メタデータ） (2025-02-14T14:44:22Z)
• HARDMath: A Benchmark Dataset for Challenging Problems in Applied Mathematics [1.5716764919736026]
  本稿では,解析的近似技術を必要とする応用数学問題に挑戦するデータセットであるHARDMathを紹介する。 本フレームワークは,数値基底真理に対して検証された解を用いて,多数の問題を自動生成する。 HARDMath-miniは,366問題からなるサブサンプルテストセットであり,応用科学の文脈で定式化された40の単語問題に対して,オープンソースLLMとクローズドソースLLMの両方を評価する。
  論文  参考訳（メタデータ） (2024-10-13T20:09:41Z)
• MathCAMPS: Fine-grained Synthesis of Mathematical Problems From Human Curricula [33.5782208232163]
  本研究では,高品質な数学問題を大規模に合成する手法であるMath CAMPSを提案する。 それぞれの標準を形式文法でエンコードし、様々な記号問題とその解をサンプリングする。 我々は、記号構造からフォローアップ質問を導き、それらをフォローアップ単語問題に変換する。
  論文  参考訳（メタデータ） (2024-07-01T01:56:28Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
  大規模言語モデル(LLM)は問題解決において顕著な能力を示した。 しかし、数学的な問題を解く能力は依然として不十分である。 高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:42:59Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• CHAMP: A Competition-level Dataset for Fine-Grained Analyses of LLMs' Mathematical Reasoning Capabilities [25.857946070979576]
  概念とHint-Annotated Math Problems (CHAMP) は、概念に注釈を付けた高校数学の競争問題である。 このベンチマークは困難で、最高のモデルは標準設定で58.1%しか得点できない。 モデルはしばしば、間違った推論ステップを通じて、正しい最終回答に到達します。
  論文  参考訳（メタデータ） (2024-01-13T03:18:16Z)
• UniGeo: Unifying Geometry Logical Reasoning via Reformulating Mathematical Expression [127.68780714438103]
  計算と証明の2つの主要な幾何学問題は、通常2つの特定のタスクとして扱われる。 我々は4,998の計算問題と9,543の証明問題を含むUniGeoという大規模統一幾何問題ベンチマークを構築した。 また,複数タスクの幾何変換フレームワークであるGeoformerを提案し,計算と証明を同時に行う。
  論文  参考訳（メタデータ） (2022-12-06T04:37:51Z)
• Measuring Mathematical Problem Solving With the MATH Dataset [55.4376028963537]
  12,500の競合数学問題のデータセットであるMATHを紹介する。 各問題には、答えの導出と説明を生成するためのモデルを教えるために使用できる完全なステップバイステップソリューションがあります。 また、モデルに数学の基礎を教えるための補助的事前学習データセットも提供します。
  論文  参考訳（メタデータ） (2021-03-05T18:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。