論文の概要: MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion

• arxiv url: http://arxiv.org/abs/2503.16212v1
• Date: Thu, 20 Mar 2025 15:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:49.625417
• Title: MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion
• Title（参考訳）: MathFusion: インストラクションフュージョンによるLLMの数学的問題解決の促進
• Authors: Qizhi Pei, Lijun Wu, Zhuoshi Pan, Yu Li, Honglin Lin, Chenlin Ming, Xin Gao, Conghui He, Rui Yan,
• Abstract要約: MathFusionはクロスプロブレム命令合成による数学的推論を強化する新しいフレームワークである。 MathFusionは、高いデータ効率を維持しながら、数学的推論を大幅に改善する。
• 参考スコア（独自算出の注目度）: 48.443460251524776
• License:
• Abstract: Large Language Models (LLMs) have shown impressive progress in mathematical reasoning. While data augmentation is promising to enhance mathematical problem-solving ability, current approaches are predominantly limited to instance-level modifications-such as rephrasing or generating syntactic variations-which fail to capture and leverage the intrinsic relational structures inherent in mathematical knowledge. Inspired by human learning processes, where mathematical proficiency develops through systematic exposure to interconnected concepts, we introduce MathFusion, a novel framework that enhances mathematical reasoning through cross-problem instruction synthesis. MathFusion implements this through three fusion strategies: (1) sequential fusion, which chains related problems to model solution dependencies; (2) parallel fusion, which combines analogous problems to reinforce conceptual understanding; and (3) conditional fusion, which creates context-aware selective problems to enhance reasoning flexibility. By applying these strategies, we generate a new dataset, \textbf{MathFusionQA}, followed by fine-tuning models (DeepSeekMath-7B, Mistral-7B, Llama3-8B) on it. Experimental results demonstrate that MathFusion achieves substantial improvements in mathematical reasoning while maintaining high data efficiency, boosting performance by 18.0 points in accuracy across diverse benchmarks while requiring only 45K additional synthetic instructions, representing a substantial improvement over traditional single-instruction approaches. Our datasets, models, and code are publicly available at https://github.com/QizhiPei/mathfusion.
• Abstract（参考訳）: 大規模言語モデル (LLM) は数学的推論において顕著な進歩を示している。 データ拡張は数学的問題解決能力を高めることを約束するが、現在のアプローチは、主に、数学的知識に固有の本質的な関係構造を捉えるのに失敗する構文変化を言い換えたり、生成したりするようなインスタンスレベルの修正に限られる。 数学的習熟度が相互接続された概念に体系的に露出することで発達する人間の学習プロセスに触発されて,クロスプロブレム命令合成による数学的推論を強化する新しいフレームワークであるMathFusionを導入する。 マチューフュージョンは、(1) 連続核融合(Sequence fusion)、(2) 並列核融合( parallel fusion)、(2) 類似の問題を結合して概念的理解を強化し、(3) 条件付き核融合( Conditional fusion)、(3) 文脈対応の選択的問題を発生させ、推論の柔軟性を高める。 これらの戦略を適用することで、新しいデータセットである \textbf{MathFusionQA} を生成し、それに続く微調整モデル(DeepSeekMath-7B, Mistral-7B, Llama3-8B)を作成する。 実験の結果、MathFusionは高いデータ効率を維持しながら数学的推論の大幅な改善を実現し、様々なベンチマークで18.0ポイントの精度向上を実現し、さらに45Kの合成命令しか必要とせず、従来のシングルインストラクションアプローチよりも大幅に改善されたことを示している。 私たちのデータセット、モデル、コードはhttps://github.com/QizhiPei/mathfusion.comで公開されています。

関連論文リスト

• MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task [49.355810887265925]
  数学的推論ステップ拡張のための新しいフレームワークであるMathFimerを紹介する。 我々は、慎重にキュレートしたNuminaMath-FIMデータセットに基づいて、特殊モデルMathFimer-7Bを開発した。 次に、これらのモデルを適用して、解鎖に詳細な中間ステップを挿入することで、既存の数学的推論データセットを強化する。
  論文  参考訳（メタデータ） (2025-02-17T11:22:24Z)
• Advancing Math Reasoning in Language Models: The Impact of Problem-Solving Data, Data Synthesis Methods, and Training Stages [13.377908992869814]
  問題解決データは、一般的な数学的コーパスと比較してモデルの数学的能力を大幅に向上させる。 本研究では, 効果的なデータ合成手法を同定し, チュータシップ増幅合成法が最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-01-23T12:14:57Z)
• Bridging Visualization and Optimization: Multimodal Large Language Models on Graph-Structured Combinatorial Optimization [56.17811386955609]
  グラフ構造上の課題は、その非線形で複雑な性質のために本質的に困難である。 本研究では,高次構造的特徴を正確に保存するために,グラフを画像に変換する手法を提案する。 マルチモーダルな大規模言語モデルと単純な検索手法を組み合わせた革新的なパラダイムを生かし、新しい効果的なフレームワークを開発することを目指す。
  論文  参考訳（メタデータ） (2025-01-21T08:28:10Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• InfinityMATH: A Scalable Instruction Tuning Dataset in Programmatic Mathematical Reasoning [13.728595670907136]
  InfinityMATHは、プログラム数学的推論のためのスケーラブルな命令チューニングデータセットである。 オープンソースの言語とLlama2やCodeLlamaといったコードモデルによる微調整実験は、InfinityMATHの実用的メリットを実証している。
  論文  参考訳（メタデータ） (2024-08-09T08:18:20Z)
• Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models [62.815222721144636]
  我々は、LLaVA-1.5ベースのMathV360Kで微調整されたモデルであるMath-LLaVAを紹介する。 この手法はLLaVA-1.5のマルチモーダル数学的推論能力を著しく改善する。 Math-LLaVAは、MMMUベンチマークで大幅に改善された一般化性を示している。
  論文  参考訳（メタデータ） (2024-06-25T05:43:21Z)
• Mathify: Evaluating Large Language Models on Mathematical Problem Solving Tasks [34.09857430966818]
  我々は,11番目と12番目の標準数学 NCERT 教科書から得られた数学データセット "MathQuest" を紹介する。 LLaMA-2, WizardMath, MAmmoTHの3つの大きな言語モデルを用いた微調整実験を行った。 この3つのモデルのうち,MAmmoTH-13Bが最も熟練したモデルとして登場し,提示された数理問題の解法において,最高レベルの能力を達成した。
  論文  参考訳（メタデータ） (2024-04-19T08:45:42Z)
• DIMAT: Decentralized Iterative Merging-And-Training for Deep Learning Models [21.85879890198875]
  Decentralized Iterative Merging-And-Training (DIMAT) は、新しい分散深層学習アルゴリズムである。 DIMATは, 独立・同一分散(IID)および非IIDデータを用いて, 通信オーバヘッドの低減を図ることにより, より高速かつ高い初期ゲインが得られることを示す。 このDIMATパラダイムは未来の分散学習に新たな機会を与え、疎結合な通信計算で現実世界への適応性を高める。
  論文  参考訳（メタデータ） (2024-04-11T18:34:29Z)
• SEGO: Sequential Subgoal Optimization for Mathematical Problem-Solving [64.38649623473626]
  大規模言語モデル(LLM)は人工知能の大幅な進歩を導いた。 数学的問題を解く能力を高めるために,textbfSEquential subtextbfGoal textbfOptimization (SEGO) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。