論文の概要: MathPile: A Billion-Token-Scale Pretraining Corpus for Math

• arxiv url: http://arxiv.org/abs/2312.17120v2
• Date: Tue, 29 Oct 2024 17:02:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:38:23.230054
• Title: MathPile: A Billion-Token-Scale Pretraining Corpus for Math
• Title（参考訳）: MathPile: 数学のための数十億ドル規模のプレトレーニング企業
• Authors: Zengzhi Wang, Xuefeng Li, Rui Xia, Pengfei Liu,
• Abstract要約: 約950億のトークンからなる多様で高品質な数学中心コーパスであるMathPileを紹介します。 精巧なデータ収集と処理には、複雑な事前処理が含まれていました。 我々は、言語モデルの数学的推論能力を向上し、異なるバージョンをオープンソース化し、フィールドを前進させるためにスクリプトをプロセッシングすることを目指しています。
• 参考スコア（独自算出の注目度）: 45.163340937419214
• License:
• Abstract: High-quality, large-scale corpora are the cornerstone of building foundation models. In this work, we introduce MathPile, a diverse and high-quality math-centric corpus comprising about 9.5 billion tokens. Throughout its creation, we adhered to the principle of "less is more", firmly believing in the supremacy of data quality over quantity, even in the pre-training phase. Our meticulous data collection and processing efforts included a complex suite of preprocessing, prefiltering, language identification, cleaning, filtering, and deduplication, ensuring the high quality of our corpus. Furthermore, we performed data contamination detection on downstream benchmark test sets to eliminate duplicates and conducted continual pre-training experiments, booting the performance on common mathematical reasoning benchmarks. We aim for our MathPile to boost language models' mathematical reasoning abilities and open-source its different versions and processing scripts to advance the field.
• Abstract（参考訳）: 高品質で大規模なコーパスが基礎モデル構築の基礎となっている。 本研究では,約950億トークンからなる多様で高品質な数学中心コーパスであるMathPileを紹介する。 その作成を通じて、私たちは"less is more"という原則に固執し、事前学習フェーズにおいても、量よりもデータ品質の優位性を確信しました。 私たちの精巧なデータ収集と処理には、事前処理、事前フィルタリング、言語識別、クリーニング、フィルタリング、重複処理といった複雑なスイートが含まれていました。 さらに、下流ベンチマークテストセットでデータ汚染検出を行い、重複を排除し、継続事前学習実験を行い、一般的な数学的推論ベンチマークのパフォーマンスを起動した。 我々は、言語モデルの数学的推論能力を向上し、異なるバージョンをオープンソース化し、フィールドを前進させるためにスクリプトをプロセッシングすることを目指しています。

関連論文リスト

• MIND: Math Informed syNthetic Dialogues for Pretraining LLMs [34.498175178707065]
  本稿では,新しい大規模かつ多様なMath Informed syNthetic Dialogue(MIND)生成法を提案する。 MIND は OpenWebMath (OWM) に基づいて合成会話を生成し,新しい数学コーパス MIND-OWM を生成する。 会話設定の異なる実験により,対話参加者間の知識ギャップを組み込むことが,高品質な数学データの生成に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-10-15T18:25:53Z)
• MathCoder2: Better Math Reasoning from Continued Pretraining on Model-translated Mathematical Code [38.127313175508746]
  本稿では, 継続事前学習のための推論ステップを伴って, 数学的コードを生成する新しい手法を提案する。 私たちのアプローチは、高品質な数学的継続事前学習データセットの構築から始まります。 生成されたコードを推論ステップ毎に適用すると、ペアの自然言語推論ステップとその対応するコードからなるデータが得られる。
  論文  参考訳（メタデータ） (2024-10-10T17:58:40Z)
• InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning [58.7966588457529]
  InfiMM-WebMath-40Bは、インターリーブされた画像テキスト文書の高品質なデータセットである。 ウェブページは2400万、画像URLは8500万、テキストトークンは400億だ。 テキストのみのベンチマークでは,400億トークンしか利用していないにもかかわらず,データセットは1.3Bモデルの性能を大幅に向上させることが示された。 私たちのモデルは、MathVerseやWe-Mathといったマルチモーダルな数学ベンチマーク上で、オープンソースモデルの中で新しい最先端のモデルを設定しました。
  論文  参考訳（メタデータ） (2024-09-19T08:41:21Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Laying Anchors: Semantically Priming Numerals in Language Modeling [11.831883526217942]
  我々は,任意のコーパスにおいて,そのコーパス内の数値の分布に支配されるアンカーを生成することによって,意味的に素数に戦略を導入する。 学習した埋め込みの数学的基礎の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-04-02T00:02:00Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem Understanding [74.12405417718054]
  本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。 他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。 基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-06-13T17:03:52Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Learning to Match Mathematical Statements with Proofs [37.38969121408295]
  このタスクは、研究レベルの数学的テキストの処理を改善するために設計されている。 我々は180k以上の文対からなるタスク用のデータセットをリリースする。 課題をグローバルに検討し,重み付き二部マッチングアルゴリズムを用いることで,課題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2021-02-03T15:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。