論文の概要: MathCoder2: Better Math Reasoning from Continued Pretraining on Model-translated Mathematical Code

• arxiv url: http://arxiv.org/abs/2410.08196v1
• Date: Thu, 10 Oct 2024 17:58:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:46:03.727285
• Title: MathCoder2: Better Math Reasoning from Continued Pretraining on Model-translated Mathematical Code
• Title（参考訳）: MathCoder2: モデル変換された数学的コード上での継続事前学習によるより良い数学的推論
• Authors: Zimu Lu, Aojun Zhou, Ke Wang, Houxing Ren, Weikang Shi, Junting Pan, Mingjie Zhan, Hongsheng Li,
• Abstract要約: 本稿では, 継続事前学習のための推論ステップを伴って, 数学的コードを生成する新しい手法を提案する。 私たちのアプローチは、高品質な数学的継続事前学習データセットの構築から始まります。 生成されたコードを推論ステップ毎に適用すると、ペアの自然言語推論ステップとその対応するコードからなるデータが得られる。
• 参考スコア（独自算出の注目度）: 38.127313175508746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code has been shown to be effective in enhancing the mathematical reasoning abilities of large language models due to its precision and accuracy. Previous works involving continued mathematical pretraining often include code that utilizes math-related packages, which are primarily designed for fields such as engineering, machine learning, signal processing, or module testing, rather than being directly focused on mathematical reasoning. In this paper, we introduce a novel method for generating mathematical code accompanied with corresponding reasoning steps for continued pretraining. Our approach begins with the construction of a high-quality mathematical continued pretraining dataset by incorporating math-related web data, code using mathematical packages, math textbooks, and synthetic data. Next, we construct reasoning steps by extracting LaTeX expressions, the conditions needed for the expressions, and the results of the expressions from the previously collected dataset. Based on this extracted information, we generate corresponding code to accurately capture the mathematical reasoning process. Appending the generated code to each reasoning step results in data consisting of paired natural language reasoning steps and their corresponding code. Combining this data with the original dataset results in a 19.2B-token high-performing mathematical pretraining corpus, which we name MathCode-Pile. Training several popular base models with this corpus significantly improves their mathematical abilities, leading to the creation of the MathCoder2 family of models. All of our data processing and training code is open-sourced, ensuring full transparency and easy reproducibility of the entire data collection and training pipeline. The code is released at https://github.com/mathllm/MathCoder2 .
• Abstract（参考訳）: コードは、その精度と精度から、大きな言語モデルの数学的推論能力を高めるのに有効であることが示されている。 数学の事前訓練を含む以前の研究には、数学の推論に直接焦点をあてるのではなく、工学、機械学習、信号処理、モジュールテストなどの分野向けに主に設計された数学関連のパッケージを利用するコードが含まれている。 本稿では, 継続事前学習のための推論ステップを伴って, 数学的コードを生成する新しい手法を提案する。 提案手法は,数学関連Webデータ,数学的パッケージを用いたコード,数学教科書,合成データを組み込んだ高品質な数学継続事前学習データセットの構築から始まる。 次に、LaTeX式、式に必要な条件、および以前に収集したデータセットから式の結果を抽出し、推論ステップを構築する。 この抽出情報に基づいて、対応するコードを生成し、数学的推論過程を正確に把握する。 生成されたコードを推論ステップ毎に適用すると、ペアの自然言語推論ステップとその対応するコードからなるデータが得られる。 このデータと元のデータセットを組み合わせると、19.2Bの高性能な数学的事前学習コーパスが得られ、MathCode-Pileと命名する。 このコーパスでいくつかの人気のあるベースモデルをトレーニングすると、数学的能力が大幅に向上し、MathCoder2モデルのファミリーが作られる。 データ処理とトレーニングのコードはすべてオープンソースで、完全な透明性とデータ収集とトレーニングパイプライン全体の再現性を確保しています。 コードはhttps://github.com/mathllm/MathCoder2で公開されている。

関連論文リスト

• MIND: Math Informed syNthetic Dialogues for Pretraining LLMs [34.498175178707065]
  本稿では,新しい大規模かつ多様なMath Informed syNthetic Dialogue(MIND)生成法を提案する。 MIND は OpenWebMath (OWM) に基づいて合成会話を生成し,新しい数学コーパス MIND-OWM を生成する。 会話設定の異なる実験により,対話参加者間の知識ギャップを組み込むことが,高品質な数学データの生成に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-10-15T18:25:53Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
  大規模言語モデル(LLM)は問題解決において顕著な能力を示した。 しかし、数学的な問題を解く能力は依然として不十分である。 高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:42:59Z)
• MARIO: MAth Reasoning with code Interpreter Output -- A Reproducible Pipeline [12.186691561822256]
  我々は,大規模言語モデル(LLM)の本質的な性質が,数学的推論のモデル化における課題を提起していると仮定する。 本稿では,Pythonコードインタプリタを利用した新しい数学データセットを提案する。 本稿では,数学固有のLLMの微調整のための仮的かつ容易に複製可能なプロトコルを提案する。
  論文  参考訳（メタデータ） (2024-01-16T08:08:01Z)
• MathPile: A Billion-Token-Scale Pretraining Corpus for Math [45.163340937419214]
  約950億のトークンからなる多様で高品質な数学中心コーパスであるMathPileを紹介します。 精巧なデータ収集と処理には、複雑な事前処理が含まれていました。 我々は、言語モデルの数学的推論能力を向上し、異なるバージョンをオープンソース化し、フィールドを前進させるためにスクリプトをプロセッシングすることを目指しています。
  論文  参考訳（メタデータ） (2023-12-28T16:55:40Z)
• MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [52.97768001837269]
  本稿では,オープンソース言語モデルを微調整する手法を提案する。 本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。 このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
  論文  参考訳（メタデータ） (2023-10-05T17:52:09Z)
• JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem Understanding [74.12405417718054]
  本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。 他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。 基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-06-13T17:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。