論文の概要: MegaMath: Pushing the Limits of Open Math Corpora

• arxiv url: http://arxiv.org/abs/2504.02807v1
• Date: Thu, 03 Apr 2025 17:52:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:28.236433
• Title: MegaMath: Pushing the Limits of Open Math Corpora
• Title（参考訳）: MegaMath:オープンな数学コーパスの限界を押し上げる
• Authors: Fan Zhou, Zengzhi Wang, Nikhil Ranjan, Zhoujun Cheng, Liping Tang, Guowei He, Zhengzhong Liu, Eric P. Xing,
• Abstract要約: MegaMathは、多種多様な数学に焦点を当てたソースからキュレートされたオープンデータセットである。 MegaMathは、既存のオープン数学事前トレーニングデータセットの中で、最大で最高品質の371Bトークンを提供する。
• 参考スコア（独自算出の注目度）: 44.148011362359036
• License:
• Abstract: Mathematical reasoning is a cornerstone of human intelligence and a key benchmark for advanced capabilities in large language models (LLMs). However, the research community still lacks an open, large-scale, high-quality corpus tailored to the demands of math-centric LLM pre-training. We present MegaMath, an open dataset curated from diverse, math-focused sources through following practices: (1) Revisiting web data: We re-extracted mathematical documents from Common Crawl with math-oriented HTML optimizations, fasttext-based filtering and deduplication, all for acquiring higher-quality data on the Internet. (2) Recalling Math-related code data: We identified high quality math-related code from large code training corpus, Stack-V2, further enhancing data diversity. (3) Exploring Synthetic data: We synthesized QA-style text, math-related code, and interleaved text-code blocks from web data or code data. By integrating these strategies and validating their effectiveness through extensive ablations, MegaMath delivers 371B tokens with the largest quantity and top quality among existing open math pre-training datasets.
• Abstract（参考訳）: 数学的推論は人間の知能の基盤であり、大規模言語モデル(LLM)の高度な能力に関する重要なベンチマークである。 しかし、研究コミュニティには、数学中心のLLM事前学習の需要に合わせて、オープンで大規模で高品質なコーパスがまだ欠けている。 1) ウェブデータの見直し: 数学指向のHTML最適化,高速テキストベースのフィルタリング,復号化によるCommon Crawlから数学文書を再抽出し,インターネット上で高品質なデータを取得する。 2)math-related code data:我々は,大コードトレーニングコーパスであるStack-V2から高品質な数学関連コードを特定し,データの多様性をさらに向上させた。 (3) 合成データの探索: WebデータやコードデータからQAスタイルのテキスト,数学関連コード,インターリーブされたテキストコードブロックを合成した。 これらの戦略を統合することによって、MegaMathは、既存のオープン数学事前学習データセットの中で最大の量と最高品質の371Bトークンを提供する。

関連論文リスト

• MIND: Math Informed syNthetic Dialogues for Pretraining LLMs [34.498175178707065]
  本稿では,新しい大規模かつ多様なMath Informed syNthetic Dialogue(MIND)生成法を提案する。 MIND は OpenWebMath (OWM) に基づいて合成会話を生成し,新しい数学コーパス MIND-OWM を生成する。 会話設定の異なる実験により,対話参加者間の知識ギャップを組み込むことが,高品質な数学データの生成に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-10-15T18:25:53Z)
• MathCoder2: Better Math Reasoning from Continued Pretraining on Model-translated Mathematical Code [38.127313175508746]
  本稿では, 継続事前学習のための推論ステップを伴って, 数学的コードを生成する新しい手法を提案する。 私たちのアプローチは、高品質な数学的継続事前学習データセットの構築から始まります。 生成されたコードを推論ステップ毎に適用すると、ペアの自然言語推論ステップとその対応するコードからなるデータが得られる。
  論文  参考訳（メタデータ） (2024-10-10T17:58:40Z)
• InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning [58.7966588457529]
  InfiMM-WebMath-40Bは、インターリーブされた画像テキスト文書の高品質なデータセットである。 ウェブページは2400万、画像URLは8500万、テキストトークンは400億だ。 テキストのみのベンチマークでは,400億トークンしか利用していないにもかかわらず,データセットは1.3Bモデルの性能を大幅に向上させることが示された。 私たちのモデルは、MathVerseやWe-Mathといったマルチモーダルな数学ベンチマーク上で、オープンソースモデルの中で新しい最先端のモデルを設定しました。
  論文  参考訳（メタデータ） (2024-09-19T08:41:21Z)
• MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
  大規模言語モデル(LLM)は問題解決において顕著な能力を示した。 しかし、数学的な問題を解く能力は依然として不十分である。 高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:42:59Z)
• MATHSENSEI: A Tool-Augmented Large Language Model for Mathematical Reasoning [2.9104279358536647]
  数学的推論のためのツール強化された大規模言語モデルであるMathSenseiを提案する。 ツールの補完的な利点として、知識検索(Bing Web Search)、プログラムジェネレータ+エグゼキュータ(Python)、記号方程式ソルバ(Wolfram-Alpha API)について検討する。
  論文  参考訳（メタデータ） (2024-02-27T05:50:35Z)
• InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
  InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。 我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。 我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
  論文  参考訳（メタデータ） (2024-02-09T11:22:08Z)
• OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text [32.15651290548974]
  OpenWebMathは、Common Crawlの14.7Bトークンを含む作品にインスパイアされたオープンデータセットである。 OpenWebMath上で1.4Bのパラメータ言語モデルをトレーニングし、データセットの14.7Bトークンでトレーニングされたモデルが、20倍以上の汎用言語データでトレーニングされたモデルのパフォーマンスを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-10T16:57:28Z)
• MuggleMath: Assessing the Impact of Query and Response Augmentation on Math Reasoning [54.2093509928664]
  大規模言語モデルを用いた数学推論では、クエリの進化と多様な推論経路による微調整データ拡張が実験的に有効である。 本研究では,数理推論におけるそのようなデータ拡張に関する調査を行い,これらの疑問に答えることを意図している。 コードと拡張データはhttps://github.com/OFA-Sys/8k-Scel.comで公開しています。
  論文  参考訳（メタデータ） (2023-10-09T08:18:58Z)
• MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [52.97768001837269]
  本稿では,オープンソース言語モデルを微調整する手法を提案する。 本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。 このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
  論文  参考訳（メタデータ） (2023-10-05T17:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。