論文の概要: Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

• arxiv url: http://arxiv.org/abs/2407.08733v1
• Date: Thu, 11 Jul 2024 17:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:09:12.602994
• Title: Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist
• Title（参考訳）: あなたのモデルは本当に良い数学的推論者なのか?チェックリストによる数学的推論の評価
• Authors: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang,
• Abstract要約: 大規模言語モデル(LLM)の数学的能力を包括的に定義し評価する方法が重要な問題となっている。 タスクの一般化とロバスト性の推論のためのよく設計されたチェックリストであるMATHCHECKを紹介する。 我々はMATHCHECK-GSMとMATHCHECK-GEOを採用し、20 LLMと11 MLLMの総合的な数学的推論能力を評価した。
• 参考スコア（独自算出の注目度）: 46.670206614087334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.
• Abstract（参考訳）: 例外的数学的推論能力は、大きな言語モデル(LLM)のパワーを示す重要な特徴の1つである。 LLMの数学的能力を包括的に定義し評価し、現実のシナリオにおけるユーザエクスペリエンスを反映する方法が重要な問題となっている。 現在のベンチマークは主に問題解決能力に重点を置いており、これはモデルオーバーフィットのかなりのリスクを示し、真の数学的推論能力の正確な表現に失敗する。 本稿では、モデルが本当に問題を理解しているなら、様々なタスクにまたがって頑健かつ容易に適用されるべきである、と論じる。 そこで本研究では,タスクの一般化とロバスト性の検証のためのよく設計されたチェックリストであるMATHCHECKと,チェックリストを効率的に生成する自動ツールを紹介する。 MATHCHECKには、複数の数学的推論タスクとロバストネステストタイプが含まれており、数学的推論能力と振る舞いテストの両方の包括的な評価を容易にする。 MATHCHECKを利用すると、MATHCHECK-GSMとMATHCHECK-GEOを開発し、GSM8k、GeoQA、UniGeo、Geometry3Kなどのベンチマークのアップグレード版として機能する。 我々はMATHCHECK-GSMとMATHCHECK-GEOを採用し、20 LLMと11 MLLMの総合的な数学的推論能力を評価した。 以上の結果から, GPT-4o などのフロンティア LLM はチェックリストの様々な能力に優れ続けているが,他のモデルファミリーでは顕著な低下がみられた。 さらに、従来の数学ベンチマークと比較すると、MATHCHECKは真の数学的能力をよりよく反映し、数学的知性をより線形に表現し、設計を支援することが示されている。 MATHCHECKでは、詳細な行動分析を行い、モデルについて深く研究することができる。

関連論文リスト

• MathBench: Evaluating the Theory and Application Proficiency of LLMs with a Hierarchical Mathematics Benchmark [82.64129627675123]
  MathBenchは、大規模言語モデルの数学的能力を厳格に評価する新しいベンチマークである。 MathBenchは幅広い数学の分野にまたがっており、理論的な理解と実践的な問題解決のスキルの両方を詳細に評価している。
  論文  参考訳（メタデータ） (2024-05-20T17:52:29Z)
• MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems? [99.0305256706604]
  MLLMの公平かつ詳細な評価のために設計された全周視覚数学ベンチマークであるMathVerseを紹介する。 我々は,2,612の高品位・多目的数学問題を,公開情報源の図を用いて慎重に収集する。 このアプローチにより、MathVerseは、数学的推論のためのビジュアルダイアグラムを、どの程度のMLLMが真に理解できるかを包括的に評価することができる。
  論文  参考訳（メタデータ） (2024-03-21T17:59:50Z)
• FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models [44.63505885248145]
  FineMathは、中国語大言語モデル(LLM)を評価するための詳細な数学的評価ベンチマークデータセットである。 FineMathは、小学校数学で教えられる主要な数学的概念をカバーし、数学用語の問題の17のカテゴリに分けられる。 数学の単語問題のうち17のカテゴリは、これらの問題を解決するために必要な推論ステップの数に応じて、難易度を手動でアノテートする。
  論文  参考訳（メタデータ） (2024-03-12T15:32:39Z)
• MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
  大規模言語モデル(LLM)は問題解決において顕著な能力を示した。 しかし、数学的な問題を解く能力は依然として不十分である。 高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:42:59Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• MATHSENSEI: A Tool-Augmented Large Language Model for Mathematical Reasoning [2.9104279358536647]
  数学的推論のためのツール強化された大規模言語モデルであるMathSenseiを提案する。 ツールの補完的な利点として、知識検索(Bing Web Search)、プログラムジェネレータ+エグゼキュータ(Python)、記号方程式ソルバ(Wolfram-Alpha API)について検討する。
  論文  参考訳（メタデータ） (2024-02-27T05:50:35Z)
• InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
  InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。 我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。 我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
  論文  参考訳（メタデータ） (2024-02-09T11:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。