論文の概要: MuMath-Code: Combining Tool-Use Large Language Models with Multi-perspective Data Augmentation for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2405.07551v1
• Date: Mon, 13 May 2024 08:32:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 14:24:56.631804
• Title: MuMath-Code: Combining Tool-Use Large Language Models with Multi-perspective Data Augmentation for Mathematical Reasoning
• Title（参考訳）: MuMath-Code: マルチパースペクティブデータ拡張とツール利用大言語モデルの組み合わせによる数学的推論
• Authors: Shuo Yin, Weihao You, Zhilong Ji, Guoqiang Zhong, Jinfeng Bai,
• Abstract要約: この研究には、マルチパースペクティブなデータ拡張手法による新しい数学の質問が含まれ、その上でコードネストされたソリューションを合成する。 外部Pythonインタプリタと統合したオープン大言語モデル(LLM)は、数学的推論能力を大幅に強化した。 ステージ1では、純粋なCoTデータに基づいてLlama-2を微調整し、中間モデルを取得し、ステージ2のコードネストデータに基づいてトレーニングし、結果のMuMath-Codeを得る。
• 参考スコア（独自算出の注目度）: 11.426127461122908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The tool-use Large Language Models (LLMs) that integrate with external Python interpreters have significantly enhanced mathematical reasoning capabilities for open-source LLMs, while tool-free methods chose another track: augmenting math reasoning data. However, a great method to integrate the above two research paths and combine their advantages remains to be explored. In this work, we firstly include new math questions via multi-perspective data augmenting methods and then synthesize code-nested solutions to them. The open LLMs (i.e., Llama-2) are finetuned on the augmented dataset to get the resulting models, MuMath-Code ($\mu$-Math-Code). During the inference phase, our MuMath-Code generates code and interacts with the external python interpreter to get the execution results. Therefore, MuMath-Code leverages the advantages of both the external tool and data augmentation. To fully leverage the advantages of our augmented data, we propose a two-stage training strategy: In Stage-1, we finetune Llama-2 on pure CoT data to get an intermediate model, which then is trained on the code-nested data in Stage-2 to get the resulting MuMath-Code. Our MuMath-Code-7B achieves 83.8 on GSM8K and 52.4 on MATH, while MuMath-Code-70B model achieves new state-of-the-art performance among open methods -- achieving 90.7% on GSM8K and 55.1% on MATH. Extensive experiments validate the combination of tool use and data augmentation, as well as our two-stage training strategy. We release the proposed dataset along with the associated code for public use.
• Abstract（参考訳）: 外部Pythonインタプリタと統合したツール利用のLarge Language Models (LLM) は、オープンソースのLLMの数学的推論能力を著しく向上させ、ツールフリーメソッドは別のトラックを選択した。 しかし、上記の2つの研究経路を統合し、それらの利点を組み合わせるための優れた方法が検討されている。 そこで本研究では,まず,マルチパースペクティブなデータ拡張手法を用いて新しい数学質問を抽出し,その解を合成する。 オープンなLLM(すなわちLlama-2)は、拡張データセット上で微調整され、結果のモデルであるMuMath-Code(\mu$-Math-Code)を取得する。 推論フェーズでは、 MuMath-Code がコードを生成し、外部のpythonインタプリタと対話して実行結果を取得する。 したがって、MuMath-Codeは外部ツールとデータ拡張の両方の利点を活用している。 拡張データの利点をフル活用するために、私たちは2段階のトレーニング戦略を提案します。Stage-1では、純粋なCoTデータにLlama-2を精細化し、中間モデルを取得し、Stage-2のコードネストデータに基づいてトレーニングを行い、結果のMuMath-Codeを得る。 私たちの MuMath-Code-7B は GSM8K では83.8、MATHでは52.4、オープンメソッドでは MuMath-Code-70B モデルは新しい最先端のパフォーマンスを達成しており、GSM8K では90.7%、MATHでは55.1% である。 大規模な実験は、ツールの使用とデータ拡張の組み合わせ、および2段階のトレーニング戦略を検証する。 提案されたデータセットと関連するコードを公開するためにリリースします。

関連論文リスト

• Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On [55.449818944278526]
  一般的な7B言語モデル上での教師付き微調整(SFT)であるSkywork-Mathモデルシリーズを紹介する。 Skywork-Math 7Bは競争レベルのMATHベンチマークで51.2%の精度を達成した。 我々は,LLMの数学推論能力を高めるために,研究用と産業用の両方で,いくつかの実践的なテイクアウトを提供する。
  論文  参考訳（メタデータ） (2024-07-11T09:56:51Z)
• DotaMath: Decomposition of Thought with Code Assistance and Self-correction for Mathematical Reasoning [24.68321102981711]
  本稿では,数理推論にコードアシストと自己補正を併用した思考の分解を利用した大規模言語モデル(LLM)について紹介する。 DotaMathモデルは複雑な数学的タスクに対処し、それらをより単純な論理的なサブタスクに分解し、コードを利用してこれらのサブタスクを解決する。 そこで我々は,DotaMathQAの模倣学習を用いて,オープンソースのLLMと比較して優れた性能を示すDotaMathモデルを訓練した。
  論文  参考訳（メタデータ） (2024-07-04T17:39:16Z)
• MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
  大規模言語モデル(LLM)は問題解決において顕著な能力を示した。 しかし、数学的な問題を解く能力は依然として不十分である。 高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:42:59Z)
• OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset [8.562316160709727]
  1.8M 問題解対を持つ数学指導用チューニングデータセット OpenMathInstruct-1 を構築した。 このデータセットは、2つの人気のある数学推論ベンチマークであるGSM8KとMATHのコード解釈ソリューションを合成することによって構築される。 我々の最良のモデルであるOpenMath-CodeLlama-70Bは、OpenMath Instruct-1のサブセットでトレーニングされ、GSM8Kで84.6%、MATHで50.7%のスコアを得た。
  論文  参考訳（メタデータ） (2024-02-15T18:26:11Z)
• MuggleMath: Assessing the Impact of Query and Response Augmentation on Math Reasoning [54.2093509928664]
  大規模言語モデルを用いた数学推論では、クエリの進化と多様な推論経路による微調整データ拡張が実験的に有効である。 本研究では,数理推論におけるそのようなデータ拡張に関する調査を行い,これらの疑問に答えることを意図している。 コードと拡張データはhttps://github.com/OFA-Sys/8k-Scel.comで公開しています。
  論文  参考訳（メタデータ） (2023-10-09T08:18:58Z)
• MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [52.97768001837269]
  本稿では,オープンソース言語モデルを微調整する手法を提案する。 本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。 このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
  論文  参考訳（メタデータ） (2023-10-05T17:52:09Z)
• MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models [91.66694225955872]
  数学的推論を専門とする微調整言語モデルであるMetaMathを提案する。 具体的には、余分な知識を伴わずに複数の視点から質問を書き換えることで、数学的質問をブートストラップすることから始める。 私たちは、すべてのMetaMathQAデータセット、異なるモデルサイズを持つMetaMathモデル、パブリック使用のためのトレーニングコードをリリースします。
  論文  参考訳（メタデータ） (2023-09-21T17:45:42Z)
• WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct [128.89645483139236]
  本稿では,Llama-2の数学的推論能力を向上するWizardMathを提案する。 GSM8kではChatGPT-3.5, Claude Instant-1, PaLM-2, Minervaを上回り, 同時にMATHでは Text-davinci, PaLM-1, GPT-3 を上回ります。
  論文  参考訳（メタデータ） (2023-08-18T14:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。