論文の概要: MathBERT: A Pre-trained Language Model for General NLP Tasks in Mathematics Education

• arxiv url: http://arxiv.org/abs/2106.07340v5
• Date: Sat, 12 Aug 2023 15:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 23:55:02.358388
• Title: MathBERT: A Pre-trained Language Model for General NLP Tasks in Mathematics Education
• Title（参考訳）: MathBERT:数学教育における一般NLPタスクのための事前学習言語モデル
• Authors: Jia Tracy Shen, Michiharu Yamashita, Ethan Prihar, Neil Heffernan, Xintao Wu, Ben Graff, Dongwon Lee
• Abstract要約: MathBERTは、BASE BERTモデルを大規模な数学的コーパスで事前訓練したモデルである。 MathBERTでトレーニングするために、数学固有の語彙'mathVocab'を構築します。 MathBERTは現在、商用の教育リソースプロバイダであるStride, Incと、無料のオンライン教育プラットフォームであるASSISTments.orgで採用されている。
• 参考スコア（独自算出の注目度）: 13.488307306450627
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Since the introduction of the original BERT (i.e., BASE BERT), researchers have developed various customized BERT models with improved performance for specific domains and tasks by exploiting the benefits of transfer learning. Due to the nature of mathematical texts, which often use domain specific vocabulary along with equations and math symbols, we posit that the development of a new BERT model for mathematics would be useful for many mathematical downstream tasks. In this resource paper, we introduce our multi-institutional effort (i.e., two learning platforms and three academic institutions in the US) toward this need: MathBERT, a model created by pre-training the BASE BERT model on a large mathematical corpus ranging from pre-kindergarten (pre-k), to high-school, to college graduate level mathematical content. In addition, we select three general NLP tasks that are often used in mathematics education: prediction of knowledge component, auto-grading open-ended Q&A, and knowledge tracing, to demonstrate the superiority of MathBERT over BASE BERT. Our experiments show that MathBERT outperforms prior best methods by 1.2-22% and BASE BERT by 2-8% on these tasks. In addition, we build a mathematics specific vocabulary 'mathVocab' to train with MathBERT. We discover that MathBERT pre-trained with 'mathVocab' outperforms MathBERT trained with the BASE BERT vocabulary (i.e., 'origVocab'). MathBERT is currently being adopted at the participated leaning platforms: Stride, Inc, a commercial educational resource provider, and ASSISTments.org, a free online educational platform. We release MathBERT for public usage at: https://github.com/tbs17/MathBERT.
• Abstract（参考訳）: オリジナルのBERT(BASE BERT)が導入されて以来、研究者は転送学習の利点を利用して、特定のドメインやタスクのパフォーマンスを改善した様々なカスタマイズされたBERTモデルを開発した。 数理テキストの性質は、方程式や数理記号とともにドメイン固有語彙を用いることが多いため、数学の新しいBERTモデルの開発は多くの数学的な下流のタスクに有用であろうと仮定する。 本稿では,BASE BERTモデルを,幼稚園前(pre-k)から高校までの大規模数学コーパス上で事前学習したモデルである MathBERT を,大学卒レベルの数学コンテンツに導入し,そのニーズに応えるための多施設間取り組み(すなわち,米国における2つの学習プラットフォームと3つの学術機関)を紹介する。 さらに,数学教育においてよく用いられる3つの一般的なNLPタスク,すなわち知識成分の予測,自動段階のオープンエンドQ&A,知識追跡を選択し,BASE BERTよりも MathBERT の方が優れていることを示す。 実験の結果, MathBERT は 1.2-22% で, BASE BERT は2-8% で優れていた。 さらに,数学固有の語彙"mathVocab"を構築し,MathBERTで学習する。 MathBERTが'mathVocab'で事前訓練された場合、BASE BERT語彙(origVocab)でトレーニングされたMathBERTよりも優れていたことが判明した。 MathBERTは現在、商用の教育リソースプロバイダであるStride, Incと、無料のオンライン教育プラットフォームであるASSISTments.orgで採用されている。 MathBERT は https://github.com/tbs17/MathBERT で公開しています。

関連論文リスト

• LeanAgent: Lifelong Learning for Formal Theorem Proving [85.39415834798385]
  フォーマルな定理証明のための新しい生涯学習フレームワークであるLeanAgentを紹介する。 LeanAgentは継続的に一般化し、拡張可能な数学的知識を改善します。 以前、23のリーンリポジトリで人間が公式に証明していなかった155の定理の証明に成功した。
  論文  参考訳（メタデータ） (2024-10-08T17:11:24Z)
• MathBench: Evaluating the Theory and Application Proficiency of LLMs with a Hierarchical Mathematics Benchmark [82.64129627675123]
  MathBenchは、大規模言語モデルの数学的能力を厳格に評価する新しいベンチマークである。 MathBenchは幅広い数学の分野にまたがっており、理論的な理解と実践的な問題解決のスキルの両方を詳細に評価している。
  論文  参考訳（メタデータ） (2024-05-20T17:52:29Z)
• MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
  大規模言語モデル(LLM)は問題解決において顕著な能力を示した。 しかし、数学的な問題を解く能力は依然として不十分である。 高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:42:59Z)
• InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
  InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。 我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。 我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
  論文  参考訳（メタデータ） (2024-02-09T11:22:08Z)
• MathGloss: Building mathematical glossaries from text [0.620048328543366]
  MathGlossは数学の学部概念のデータベースである。 最新の自然言語処理(NLP)ツールとWeb上で既に利用可能なリソースを使用している。
  論文  参考訳（メタデータ） (2023-11-21T14:49:00Z)
• WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct [130.37945867605302]
  本稿では,大規模言語モデル(LLM)の数学的CoT推論能力を向上させるWizardMathを提案する。 注目すべきは、WizardMath-Mistral 7BがトップクラスのオープンソースLLMをはるかに上回り、データ効率が向上したことだ。 予備的な調査では、卓越した数学性能を達成する上で、命令の進化とプロセスの監督が重要な役割を担っていることを強調した。
  論文  参考訳（メタデータ） (2023-08-18T14:23:21Z)
• Mathematical Capabilities of ChatGPT [35.71603158908465]
  GHOSTSとminiGHOSTSの2つの新しいデータセットをリリースしています。 これらは、数学の研究者によって計算された最初の自然言語データセットである。 モデルを、詳細なパフォーマンス指標でベンチマークします。
  論文  参考訳（メタデータ） (2023-01-31T18:59:03Z)
• JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem Understanding [74.12405417718054]
  本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。 他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。 基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-06-13T17:03:52Z)
• MathBERT: A Pre-Trained Model for Mathematical Formula Understanding [12.721947240253977]
  本稿では,数学的公式とそれに対応する文脈を併用した新しい事前学習モデル,textbfMathBERTを提案する。 我々は,数学情報検索,公式トピック分類,公式見出し生成など,3つの下流タスクについて様々な実験を行い,MathBERTの性能評価を行った。 我々は,この事前学習モデルが式の意味レベル構造情報を効果的にキャプチャできることを定性的に示す。
  論文  参考訳（メタデータ） (2021-05-02T02:10:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。