論文の概要: Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

• arxiv url: http://arxiv.org/abs/2407.08733v2
• Date: Tue, 8 Oct 2024 10:51:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 22:17:54.813171
• Title: Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist
• Title（参考訳）: あなたのモデルは本当に良い数学的推論者なのか?チェックリストによる数学的推論の評価
• Authors: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang,
• Abstract要約: モデルが本当に問題を理解しているなら、さまざまなタスクにまたがって堅牢に適用されるべきである、と私たちは主張する。 MathCheckはタスクの一般化と推論をテストするためのよく設計されたチェックリストである。 MathCheckは真の数学的能力をよく反映し、数学的知性をより線形に表現する。
• 参考スコア（独自算出の注目度）: 46.670206614087334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, presenting a substantial risk of model overfitting and fails to accurately measure the genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly applied across a diverse array of tasks. To this end, we introduce MathCheck, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MathCheck includes multiple mathematical reasoning tasks and robustness tests to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MathCheck, we develop MathCheck-GSM and MathCheck-GEO to assess math textual reasoning and multi-modal reasoning abilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MathCheck-GSM and MathCheck-GEO to evaluate 26 LLMs and 17 MLLMs. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MathCheck better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. Using MathCheck, we can efficiently conduct informative behavior analysis to deeply investigate models. Finally, we show that our checklist paradigm can easily extend to other reasoning tasks.
• Abstract（参考訳）: 例外的数学的推論能力は、大きな言語モデル(LLM)のパワーを示す重要な特徴の1つである。 LLMの数学的能力を包括的に定義し評価し、現実のシナリオにおけるユーザエクスペリエンスを反映する方法が重要な問題となっている。 現在のベンチマークは、主に問題解決能力に集中しており、モデルオーバーフィットのかなりのリスクを示し、真の数学的推論能力の正確な測定に失敗している。 本稿では、モデルが本当に問題を理解しているなら、様々なタスクにまたがって堅牢に適用されるべきである、と論じる。 この目的のために,タスクの一般化とロバスト性推論のためのよく設計されたチェックリストであるMathCheckと,チェックリストを効率的に生成する自動ツールを紹介する。 MathCheckには複数の数学的推論タスクとロバストネステストが含まれており、数学的推論能力と振る舞いテストの両方の包括的な評価を容易にする。 MathCheckを利用することで、GSM8k、GeoQA、UniGeo、Geometry3Kなどのベンチマークのアップグレード版として、数学のテキスト推論とマルチモーダル推論能力を評価する。 我々は26LLMと17MLLMを評価するためにMathCheck-GSMとMathCheck-GEOを採用した。 以上の結果から, GPT-4o などのフロンティア LLM はチェックリスト上の様々な能力に優れ続けているが,他のモデルファミリーでは顕著な低下がみられた。 さらなる実験により、従来の数学ベンチマークと比較して、MathCheckは真の数学的能力をよりよく反映し、数学的知性をより線形に表現し、設計をサポートすることが示されている。 MathCheckを使えば、効率的に情報的行動分析を行い、モデルを深く研究することができる。 最後に、チェックリストのパラダイムが、他の推論タスクに容易に拡張できることを示します。

関連論文リスト

• MathBench: Evaluating the Theory and Application Proficiency of LLMs with a Hierarchical Mathematics Benchmark [82.64129627675123]
  MathBenchは、大規模言語モデルの数学的能力を厳格に評価する新しいベンチマークである。 MathBenchは幅広い数学の分野にまたがっており、理論的な理解と実践的な問題解決のスキルの両方を詳細に評価している。
  論文  参考訳（メタデータ） (2024-05-20T17:52:29Z)
• MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems? [99.0305256706604]
  MLLMの公平かつ詳細な評価のために設計された全周視覚数学ベンチマークであるMathVerseを紹介する。 我々は,2,612の高品位・多目的数学問題を,公開情報源の図を用いて慎重に収集する。 このアプローチにより、MathVerseは、数学的推論のためのビジュアルダイアグラムを、どの程度のMLLMが真に理解できるかを包括的に評価することができる。
  論文  参考訳（メタデータ） (2024-03-21T17:59:50Z)
• FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models [44.63505885248145]
  FineMathは、中国語大言語モデル(LLM)を評価するための詳細な数学的評価ベンチマークデータセットである。 FineMathは、小学校数学で教えられる主要な数学的概念をカバーし、数学用語の問題の17のカテゴリに分けられる。 数学の単語問題のうち17のカテゴリは、これらの問題を解決するために必要な推論ステップの数に応じて、難易度を手動でアノテートする。
  論文  参考訳（メタデータ） (2024-03-12T15:32:39Z)
• MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
  大規模言語モデル(LLM)は問題解決において顕著な能力を示した。 しかし、数学的な問題を解く能力は依然として不十分である。 高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:42:59Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• MATHSENSEI: A Tool-Augmented Large Language Model for Mathematical Reasoning [2.9104279358536647]
  数学的推論のためのツール強化された大規模言語モデルであるMathSenseiを提案する。 ツールの補完的な利点として、知識検索(Bing Web Search)、プログラムジェネレータ+エグゼキュータ(Python)、記号方程式ソルバ(Wolfram-Alpha API)について検討する。
  論文  参考訳（メタデータ） (2024-02-27T05:50:35Z)
• InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
  InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。 我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。 我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
  論文  参考訳（メタデータ） (2024-02-09T11:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。