論文の概要: HARDMath2: A Benchmark for Applied Mathematics Built by Students as Part of a Graduate Class

• arxiv url: http://arxiv.org/abs/2505.11774v1
• Date: Sat, 17 May 2025 00:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.840274
• Title: HARDMath2: A Benchmark for Applied Mathematics Built by Students as Part of a Graduate Class
• Title（参考訳）: HARDMath2:大学院生による応用数学のベンチマーク
• Abstract要約: HARDMath2は、大学院応用数学クラスの中核トピックをカバーする211のオリジナル問題のデータセットである。 このデータセットはハーバード大学のコア大学院数学コースの学生とインストラクターによって設計され、検証された。 このデータセットは、学生がクラスシラバスと整合した難しい問題を書き、洗練するよう促す、新しい協調環境を通じて構築されます。
• 参考スコア（独自算出の注目度）: 27.93059568425132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown remarkable progress in mathematical problem-solving, but evaluation has largely focused on problems that have exact analytical solutions or involve formal proofs, often overlooking approximation-based problems ubiquitous in applied science and engineering. To fill this gap, we build on prior work and present HARDMath2, a dataset of 211 original problems covering the core topics in an introductory graduate applied math class, including boundary-layer analysis, WKB methods, asymptotic solutions of nonlinear partial differential equations, and the asymptotics of oscillatory integrals. This dataset was designed and verified by the students and instructors of a core graduate applied mathematics course at Harvard. We build the dataset through a novel collaborative environment that challenges students to write and refine difficult problems consistent with the class syllabus, peer-validate solutions, test different models, and automatically check LLM-generated solutions against their own answers and numerical ground truths. Evaluation results show that leading frontier models still struggle with many of the problems in the dataset, highlighting a gap in the mathematical reasoning skills of current LLMs. Importantly, students identified strategies to create increasingly difficult problems by interacting with the models and exploiting common failure modes. This back-and-forth with the models not only resulted in a richer and more challenging benchmark but also led to qualitative improvements in the students' understanding of the course material, which is increasingly important as we enter an age where state-of-the-art language models can solve many challenging problems across a wide domain of fields.
• Abstract（参考訳）: 大規模言語モデル (LLM) は数学的な問題解決において顕著な進歩を見せているが、評価は主に正確な解析的解や形式的証明を含む問題に焦点を当てており、しばしば応用科学や工学において至るところで近似に基づく問題を見落としている。 境界層解析, WKB法, 非線形偏微分方程式の漸近解, 発振積分の漸近解を含む, 初歩的な応用数学クラスにおいて, 中心となる話題をカバーする211のオリジナル問題のデータセットであるHARDMath2について述べる。 このデータセットはハーバード大学のコア大学院数学コースの学生やインストラクターによって設計され、検証された。 このデータセットは、学生がクラスシラバスやピアバリデートソリューションと整合した難しい問題を書き、洗練させ、異なるモデルをテストし、LLM生成したソリューションを自身の答えや数値的根拠の真理に対して自動的にチェックする、新しい協調環境を通じて構築される。 評価結果から、先進的なフロンティアモデルは、まだデータセットの多くの問題に苦戦していることが示され、現在のLLMの数学的推論スキルのギャップが浮き彫りになっている。 重要なことに、学生はモデルと対話し、共通の障害モードを活用することで、ますます難しい問題を生み出す戦略を特定した。 このモデルによるバック・アンド・フォースにより、より豊かで挑戦的なベンチマークがもたらされただけでなく、学生のコース資料理解の質的改善につながった。

関連論文リスト

• Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math [55.83696908107408]
  スクラッチマス(ScratchMath)は,手書き数学のスクラッチワークにおける誤りの説明と分類のための新しいベンチマークである。 本データセットは,中国初等・中等生の1,720個の数学サンプルからなる。 我々は,ScratchMath上での16のMLLMを系統的に評価し,人的専門家に対する顕著な性能差を明らかにした。
  論文  参考訳（メタデータ） (2026-03-26T02:57:20Z)
• From Abstract to Contextual: What LLMs Still Cannot Do in Mathematics [79.81905350372067]
  我々は文脈的数学的推論を通してギャップを研究する。 AIMEとMATH-500の問題を2つのコンテキスト設定に再利用するベンチマークであるContextMATHを紹介する。 オープンソースモデルはSGとCSで13、34ポイント減少し、プロプライエタリモデルは13、20ポイント減少している。
  論文  参考訳（メタデータ） (2026-01-30T14:56:04Z)
• MathMixup: Boosting LLM Mathematical Reasoning with Difficulty-Controllable Data Synthesis and Curriculum Learning [17.497429897140695]
  MathMixupは、高品質で難易度の高い数学的推論問題を生成する新しいデータ合成パラダイムである。 本研究では,MathMixupとそのカリキュラム学習戦略が大規模言語モデルの数学的推論性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2026-01-14T07:28:42Z)
• REAMS: Reasoning Enhanced Algorithm for Maths Solving [1.7023742022011212]
  ゼロショット学習と数学的推論を利用して、高度な数学問題に対する解を解き、説明し、生成する言語ベースのソリューションを提案する。 提案手法は90.15%の精度を実現し,従来の81%のベンチマークよりも大幅に改善され,自動数学的問題解決における新しい標準が設定された。
  論文  参考訳（メタデータ） (2025-09-16T21:09:48Z)
• A Survey of Deep Learning for Geometry Problem Solving [72.22844763179786]
  本稿では,幾何学的問題解決におけるディープラーニングの応用について調査する。 i)幾何学的問題解決における関連する課題の包括的概要、(ii)関連するディープラーニング手法の徹底的なレビュー、(iii)評価指標と手法の詳細な分析を含む。 我々の目標は、この分野のさらなる発展を促進するために、幾何学的問題解決のためのディープラーニングの包括的で実践的な参照を提供することである。
  論文  参考訳（メタデータ） (2025-07-16T06:03:08Z)
• Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
  OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-03-27T11:20:17Z)
• PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models [59.920971312822736]
  本稿では,高品質なオリンピアードレベルの数学問題を自動生成する新しい手法であるPromptCoTを紹介する。 提案手法は,問題構築の背景にある数学的概念と理論的根拠に基づいて複雑な問題を合成する。 提案手法は, GSM8K, MATH-500, AIME2024などの標準ベンチマークで評価され, 既存の問題生成手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-03-04T06:32:30Z)
• MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations [90.07275414500154]
  各種モデルにおけるMATH-P-Hardの性能低下を観察する。 また、学習した問題解決スキルを盲目的に適用する新しい形態の記憶に関する懸念も提起する。
  論文  参考訳（メタデータ） (2025-02-10T13:31:46Z)
• Large Language Models for Mathematical Analysis [3.7325315394927023]
  この研究は、数学的推論における重要なギャップに対処し、信頼できるAIの進歩に寄与する。 DEMI-MathAnalysisデータセットを開発した。 また,LLMの問題解決能力を高めるためのガイドフレームワークも設計した。
  論文  参考訳（メタデータ） (2024-12-28T20:37:55Z)
• HARDMath: A Benchmark Dataset for Challenging Problems in Applied Mathematics [1.5716764919736026]
  本稿では,解析的近似技術を必要とする応用数学問題に挑戦するデータセットであるHARDMathを紹介する。 本フレームワークは,数値基底真理に対して検証された解を用いて,多数の問題を自動生成する。 HARDMath-miniは,366問題からなるサブサンプルテストセットであり,応用科学の文脈で定式化された40の単語問題に対して,オープンソースLLMとクローズドソースLLMの両方を評価する。
  論文  参考訳（メタデータ） (2024-10-13T20:09:41Z)
• MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data [20.31528845718877]
  大規模言語モデル(LLM)は、非常に高度な自然言語理解を持ち、強力な問題解決能力を示した。 本稿では,新たに開発された"MathOdyssey"データセットを用いて,LLMの数学的問題解決能力について検討する。
  論文  参考訳（メタデータ） (2024-06-26T13:02:35Z)
• Mathify: Evaluating Large Language Models on Mathematical Problem Solving Tasks [34.09857430966818]
  我々は,11番目と12番目の標準数学 NCERT 教科書から得られた数学データセット "MathQuest" を紹介する。 LLaMA-2, WizardMath, MAmmoTHの3つの大きな言語モデルを用いた微調整実験を行った。 この3つのモデルのうち,MAmmoTH-13Bが最も熟練したモデルとして登場し,提示された数理問題の解法において,最高レベルの能力を達成した。
  論文  参考訳（メタデータ） (2024-04-19T08:45:42Z)
• G-LLaVA: Solving Geometric Problem with Multi-Modal Large Language Model [124.68242155098189]
  大規模言語モデル(LLM)は、人間レベルの推論と生成能力に顕著な習熟性を示している。 G-LLaVAは幾何学的問題の解法において例外的な性能を示し、7Bパラメータしか持たないMathVistaベンチマークにおいて GPT-4-V を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-18T17:36:20Z)
• SMART: A Situation Model for Algebra Story Problems via Attributed Grammar [74.1315776256292]
  本稿では, 問題解決における人間の精神状態を表現する心理学研究から生まれた, emphsituation modelの概念を紹介する。 提案モデルでは,より優れた解釈性を保ちながら,従来のすべてのニューラルソルバを大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2020-12-27T21:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。