論文の概要: Integrating Arithmetic Learning Improves Mathematical Reasoning in Smaller Models

• arxiv url: http://arxiv.org/abs/2502.12855v1
• Date: Tue, 18 Feb 2025 13:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:09:21.703938
• Title: Integrating Arithmetic Learning Improves Mathematical Reasoning in Smaller Models
• Title（参考訳）: 算数学習の統合はより小さなモデルにおける数学的推論を改善する
• Authors: Neeraj Gangwar, Suma P Bhat, Nickvash Kani,
• Abstract要約: 高品質なデータに事前訓練された大規模なモデルは、様々な推論タスクにおいて優れたパフォーマンスを示す。 より小さな学生モデルは教師モデルから学び、質問を言い換えるなどのデータ拡張を行う。 これらの努力にもかかわらず、より小さなモデルは算術計算に苦慮し、数学的推論の誤りにつながる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: While large models pre-trained on high-quality data exhibit excellent performance across various reasoning tasks, including mathematical reasoning (e.g. GSM8k, MultiArith), specializing smaller models to excel at mathematical reasoning remains a challenging problem. Common approaches to address this challenge include knowledge distillation, where smaller student models learn from large pre-trained teacher models, and data augmentation, such as rephrasing questions. Despite these efforts, smaller models struggle with arithmetic computations, leading to errors in mathematical reasoning. In this work, we focus on leveraging a programmatically generated arithmetic dataset to enhance the reasoning capabilities of smaller models. We investigate two key approaches to incorporate this dataset -- (1) intermediate fine-tuning, where a model is fine-tuned on the arithmetic dataset before being trained on a reasoning dataset, and (2) integrating the arithmetic dataset into the instruction-tuning mixture, allowing the model to learn arithmetic skills alongside general instruction-following abilities. Our experiments on multiple reasoning benchmarks demonstrate that incorporating an arithmetic dataset, whether through targeted fine-tuning or within the instruction-tuning mixture, enhances the models' arithmetic capabilities, which in turn improves their mathematical reasoning performance.
• Abstract（参考訳）: 高品質なデータに事前訓練された大規模モデルは、数学的推論(例えば、GSM8k、MultiArith)を含む様々な推論タスクに優れた性能を示すが、数学的推論に優れた小さなモデルを専門化することは、依然として難しい問題である。 この課題に対処するための一般的なアプローチは知識蒸留(英語版)であり、小さな学生モデルは大きな事前訓練された教師モデルから学習し、質問を言い換えるなどのデータ拡張である。 これらの努力にもかかわらず、より小さなモデルは算術計算に苦慮し、数学的推論の誤りにつながる。 本研究では,より小さなモデルの推論能力を高めるために,プログラムで生成された算術データセットを活用することに焦点を当てる。 このデータセットを組み込むための2つの重要なアプローチについて検討する。(1)中間微調整、(2)推論データセットをトレーニングする前に算術データセットを微調整し、(2)算術データセットを命令微調整混合物に統合することにより、モデルが一般的な命令追従能力とともに算術スキルを学習できるようにする。 複数の推論ベンチマークを用いた実験により,対象の微調整や命令-微調整の混合を通した算術データセットを組み込むことで,モデルの算術能力が向上し,数学的推論性能が向上することが示された。

関連論文リスト

• MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task [49.355810887265925]
  数学的推論ステップ拡張のための新しいフレームワークであるMathFimerを紹介する。 我々は、慎重にキュレートしたNuminaMath-FIMデータセットに基づいて、特殊モデルMathFimer-7Bを開発した。 次に、これらのモデルを適用して、解鎖に詳細な中間ステップを挿入することで、既存の数学的推論データセットを強化する。
  論文  参考訳（メタデータ） (2025-02-17T11:22:24Z)
• Advancing Math Reasoning in Language Models: The Impact of Problem-Solving Data, Data Synthesis Methods, and Training Stages [13.377908992869814]
  問題解決データは、一般的な数学的コーパスと比較してモデルの数学的能力を大幅に向上させる。 本研究では, 効果的なデータ合成手法を同定し, チュータシップ増幅合成法が最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-01-23T12:14:57Z)
• Data for Mathematical Copilots: Better Ways of Presenting Proofs for Machine Learning [85.635988711588]
  我々は,大規模言語モデルの能力向上には,数学的データセットの設計におけるパラダイムシフトが必要であると論じる。 1949年にG. P'olyaが導入した「動機付き証明」の概念は、より良い証明学習信号を提供するデータセットの青写真として機能する。 数学データセットに特化して設計されたアンケートでは、クリエーターにデータセットを含めるよう促します。
  論文  参考訳（メタデータ） (2024-12-19T18:55:17Z)
• Task Arithmetic Through The Lens Of One-Shot Federated Learning [3.8230727103887943]
  Task Arithmeticは、複数のモデルの機能をひとつのモデルに組み合わせることを可能にするモデルマージ技術である。 タスク算術は、フェデレートラーニングにおいてよく使われるアルゴリズムと数学的に等価であることを示す。 フェデレーテッド・ラーニング(Federated Learning)のアルゴリズムを応用して,タスク算術の有効性を向上する。
  論文  参考訳（メタデータ） (2024-11-27T18:53:41Z)
• Ratio law: mathematical descriptions for a universal relationship between AI performance and input samples [0.0]
  モデル性能と少数サンプルと多数サンプルの比率が2つの簡潔な方程式によって密接な関係を持つことを示す比則を示す。 数学的に、バランスの取れたデータセット上でAIモデルがその最適な性能を達成することを証明した。
  論文  参考訳（メタデータ） (2024-11-01T13:43:19Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Towards a Knowledge Graph for Models and Algorithms in Applied Mathematics [0.0]
  この研究データをFAIRにするために、モデルとアルゴリズム、およびそれらの関係を意味的に表現することを目指している。 2つのアルゴリズム的タスク間のリンクは、対応するタスクに対応するモデリングで発生するため確立される。 ここでは、行列の対称性や数学的モデルの線型性など、対象固有のメタデータが関係している。
  論文  参考訳（メタデータ） (2024-08-19T13:57:49Z)
• Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models [96.9373147383119]
  重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。 それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。 これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-05-22T08:39:25Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Measuring Mathematical Problem Solving With the MATH Dataset [55.4376028963537]
  12,500の競合数学問題のデータセットであるMATHを紹介する。 各問題には、答えの導出と説明を生成するためのモデルを教えるために使用できる完全なステップバイステップソリューションがあります。 また、モデルに数学の基礎を教えるための補助的事前学習データセットも提供します。
  論文  参考訳（メタデータ） (2021-03-05T18:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。