論文の概要: ControlMath: Controllable Data Generation Promotes Math Generalist Models

• arxiv url: http://arxiv.org/abs/2409.15376v1
• Date: Fri, 20 Sep 2024 03:58:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 13:20:55.026792
• Title: ControlMath: Controllable Data Generation Promotes Math Generalist Models
• Title（参考訳）: ControlMath: 制御可能なデータ生成は、数学的ジェネリストモデルを促進する
• Authors: Nuo Chen, Ning Wu, Jianhui Chang, Jia Li,
• Abstract要約: 方程式生成モジュールと2つの LLM ベースのエージェントを含む反復的手法である ControlMath を提案する。 モジュールは多種多様な方程式を生成し、それを問題職人のエージェントが算術語問題に変換する。 ControlMathQAは190kの数学語問題を含む。
• 参考スコア（独自算出の注目度）: 38.0858432336873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Utilizing large language models (LLMs) for data augmentation has yielded encouraging results in mathematical reasoning. However, these approaches face constraints in problem diversity, potentially restricting them to in-domain/distribution data generation. To this end, we propose ControlMath, an iterative method involving an equation-generator module and two LLM-based agents. The module creates diverse equations, which the Problem-Crafter agent then transforms into math word problems. The Reverse-Agent filters and selects high-quality data, adhering to the "less is more" principle, achieving better results with fewer data points. This approach enables the generation of diverse math problems, not limited to specific domains or distributions. As a result, we collect ControlMathQA, which involves 190k math word problems. Extensive results prove that combining our dataset with in-domain datasets like GSM8K can help improve the model's mathematical ability to generalize, leading to improved performances both within and beyond specific domains.
• Abstract（参考訳）: データ拡張に大規模言語モデル(LLM)を使用すると、数学的推論において奨励的な結果が得られる。 しかし、これらのアプローチは問題多様性の制約に直面し、ドメイン内/分散データ生成を制限する可能性がある。 そこで本研究では,方程式生成モジュールと2つのLLMエージェントを含む反復的手法であるControlMathを提案する。 モジュールは多種多様な方程式を生成し、それを問題職人のエージェントが算術語問題に変換する。 Reverse-Agentは高品質なデータをフィルタし、より少ないデータポイントでより良い結果を得る"less is more"の原則に従って選択する。 このアプローチにより、特定の領域や分布に限らず、多様な数学の問題を発生させることができる。 その結果,190k の数学語問題を含む ControlMathQA が得られた。 我々のデータセットとGSM8Kのようなドメイン内データセットを組み合わせることで、モデルを一般化する数学的能力の向上が達成され、特定のドメイン内およびそれ以上のパフォーマンスが向上する。

関連論文リスト

• InfinityMATH: A Scalable Instruction Tuning Dataset in Programmatic Mathematical Reasoning [13.728595670907136]
  InfinityMATHは、プログラム数学的推論のためのスケーラブルな命令チューニングデータセットである。 オープンソースの言語とLlama2やCodeLlamaといったコードモデルによる微調整実験は、InfinityMATHの実用的メリットを実証している。
  論文  参考訳（メタデータ） (2024-08-09T08:18:20Z)
• DotaMath: Decomposition of Thought with Code Assistance and Self-correction for Mathematical Reasoning [24.68321102981711]
  本稿では,数理推論にコードアシストと自己補正を併用した思考の分解を利用した大規模言語モデル(LLM)について紹介する。 DotaMathモデルは複雑な数学的タスクに対処し、それらをより単純な論理的なサブタスクに分解し、コードを利用してこれらのサブタスクを解決する。 そこで我々は,DotaMathQAの模倣学習を用いて,オープンソースのLLMと比較して優れた性能を示すDotaMathモデルを訓練した。
  論文  参考訳（メタデータ） (2024-07-04T17:39:16Z)
• Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models [62.815222721144636]
  我々は、LLaVA-1.5ベースのMathV360Kで微調整されたモデルであるMath-LLaVAを紹介する。 この手法はLLaVA-1.5のマルチモーダル数学的推論能力を著しく改善する。 Math-LLaVAは、MMMUベンチマークで大幅に改善された一般化性を示している。
  論文  参考訳（メタデータ） (2024-06-25T05:43:21Z)
• MathGenie: Generating Synthetic Data with Question Back-translation for Enhancing Mathematical Reasoning of LLMs [38.127313175508746]
  MathGenieは、小規模の問題解決データセットから多様で信頼性の高い数学問題を生成する新しい方法である。 7Bから70Bまでの各種事前学習モデルについて, 提案手法の有効性を検証するために, 新たなキュレートデータを用いて訓練を行った。 MathGenieLM-InternLM2はGSM8Kで87.7%、MATHで55.7%の精度を達成し、オープンソース言語モデルで最高のスコアを確保している。
  論文  参考訳（メタデータ） (2024-02-26T07:17:25Z)
• DGInStyle: Domain-Generalizable Semantic Segmentation with Image Diffusion Models and Stylized Semantic Control [68.14798033899955]
  大規模で事前訓練された潜伏拡散モデル(LDM)は、創造的コンテンツを生成できる異常な能力を示した。 しかし、それらは例えば、セマンティックセグメンテーションのような知覚スタックのタスクを改善するために、大規模なデータジェネレータとして使用できますか? 自律運転の文脈でこの疑問を考察し、「はい」という言い換えで答える。
  論文  参考訳（メタデータ） (2023-12-05T18:34:12Z)
• MuggleMath: Assessing the Impact of Query and Response Augmentation on Math Reasoning [54.2093509928664]
  大規模言語モデルを用いた数学推論では、クエリの進化と多様な推論経路による微調整データ拡張が実験的に有効である。 本研究では,数理推論におけるそのようなデータ拡張に関する調査を行い,これらの疑問に答えることを意図している。 コードと拡張データはhttps://github.com/OFA-Sys/8k-Scel.comで公開しています。
  論文  参考訳（メタデータ） (2023-10-09T08:18:58Z)
• MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [52.97768001837269]
  本稿では,オープンソース言語モデルを微調整する手法を提案する。 本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。 このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
  論文  参考訳（メタデータ） (2023-10-05T17:52:09Z)
• Measuring Mathematical Problem Solving With the MATH Dataset [55.4376028963537]
  12,500の競合数学問題のデータセットであるMATHを紹介する。 各問題には、答えの導出と説明を生成するためのモデルを教えるために使用できる完全なステップバイステップソリューションがあります。 また、モデルに数学の基礎を教えるための補助的事前学習データセットも提供します。
  論文  参考訳（メタデータ） (2021-03-05T18:59:39Z)
• Reverse Operation based Data Augmentation for Solving Math Word Problems [37.26159426631031]
  最近のモデルはパフォーマンスボトルネックに達し、トレーニングのためにより高品質なデータを必要としている。 本稿では,数学用語問題の数学的論理を逆転する新しいデータ拡張法を提案する。 2つのSOTA数学単語問題解決モデルに拡張データを適用し、その結果を強力なデータ拡張ベースラインと比較する。
  論文  参考訳（メタデータ） (2020-10-04T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。