論文の概要: MathBERT: A Pre-trained Language Model for General NLP Tasks in Mathematics Education

• arxiv url: http://arxiv.org/abs/2106.07340v1
• Date: Wed, 2 Jun 2021 02:43:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-20 21:26:53.183116
• Title: MathBERT: A Pre-trained Language Model for General NLP Tasks in Mathematics Education
• Title（参考訳）: MathBERT:数学教育における一般NLPタスクのための事前学習言語モデル
• Authors: Jia Tracy Shen, Michiharu Yamashita, Ethan Prihar, Neil Heffernan, Xintao Wu, Dongwon Lee
• Abstract要約: 本研究では,大容量の数学コーパスを事前学習したBERTであるMathBERTを提案する。 我々は、MathBERTで事前学習するためのカスタマイズされた数学的語彙を生成し、その性能を元のBERT語彙と事前学習されたMathBERTと比較する。 実験の結果, MathBERT は BERT を 2-9% 差で上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 15.401376791634615
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Due to the transfer learning nature of BERT model, researchers have achieved better performance than base BERT by further pre-training the original BERT on a huge domain-specific corpus. Due to the special nature of mathematical texts which often contain math equations and symbols, the original BERT model pre-trained on general English context will not fit Natural Language Processing (NLP) tasks in mathematical education well. Therefore, we propose MathBERT, a BERT pre-trained on large mathematical corpus including pre-k to graduate level mathematical content to tackle math-specific tasks. In addition, We generate a customized mathematical vocabulary to pre-train with MathBERT and compare the performance to the MathBERT pre-trained with the original BERT vocabulary. We select three important tasks in mathematical education such as knowledge component, auto-grading, and knowledge tracing prediction to evaluate the performance of MathBERT. Our experiments show that MathBERT outperforms the base BERT by 2-9\% margin. In some cases, MathBERT pre-trained with mathematical vocabulary is better than MathBERT trained with original vocabulary.To our best knowledge, MathBERT is the first pre-trained model for general purpose mathematics education tasks.
• Abstract（参考訳）: BERTモデルの転写学習特性のため、研究者は、独自のBERTを巨大なドメイン固有コーパスで事前学習することで、ベースBERTよりも優れたパフォーマンスを実現している。 数学テキストは数学の方程式や記号を含むことが多いため、一般的な英語の文脈で事前訓練されたBERTモデルは、数学教育において自然言語処理(NLP)のタスクに適さない。 そこで本研究では,算数固有の問題に取り組むために,プレkから卒業レベルの数学内容を含む大規模数学的コーパス上で事前訓練されたBERTであるMathBERTを提案する。 さらに,MathBERTを事前学習するための数学的語彙を生成するとともに,従来のBERT語彙と事前学習したMathBERTとの比較を行う。 数学教育における3つの重要な課題(知識要素,自動学習,知識追跡予測)を選択し,その評価を行った。 実験の結果, MathBERT は BERT を 2-9 % 差で上回っていることがわかった。 数学の語彙で事前訓練されたMathBERTは、元の語彙で訓練されたMathBERTよりも優れており、私たちの知る限り、MathBERTは汎用数学教育タスクのための最初の事前学習モデルである。

関連論文リスト

• LeanAgent: Lifelong Learning for Formal Theorem Proving [85.39415834798385]
  フォーマルな定理証明のための新しい生涯学習フレームワークであるLeanAgentを紹介する。 LeanAgentは継続的に一般化し、拡張可能な数学的知識を改善します。 以前、23のリーンリポジトリで人間が公式に証明していなかった155の定理の証明に成功した。
  論文  参考訳（メタデータ） (2024-10-08T17:11:24Z)
• MathBench: Evaluating the Theory and Application Proficiency of LLMs with a Hierarchical Mathematics Benchmark [82.64129627675123]
  MathBenchは、大規模言語モデルの数学的能力を厳格に評価する新しいベンチマークである。 MathBenchは幅広い数学の分野にまたがっており、理論的な理解と実践的な問題解決のスキルの両方を詳細に評価している。
  論文  参考訳（メタデータ） (2024-05-20T17:52:29Z)
• MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
  大規模言語モデル(LLM)は問題解決において顕著な能力を示した。 しかし、数学的な問題を解く能力は依然として不十分である。 高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:42:59Z)
• InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
  InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。 我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。 我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
  論文  参考訳（メタデータ） (2024-02-09T11:22:08Z)
• MathGloss: Building mathematical glossaries from text [0.620048328543366]
  MathGlossは数学の学部概念のデータベースである。 最新の自然言語処理(NLP)ツールとWeb上で既に利用可能なリソースを使用している。
  論文  参考訳（メタデータ） (2023-11-21T14:49:00Z)
• WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct [128.89645483139236]
  本稿では,Llama-2の数学的推論能力を向上するWizardMathを提案する。 GSM8kではChatGPT-3.5, Claude Instant-1, PaLM-2, Minervaを上回り, 同時にMATHでは Text-davinci, PaLM-1, GPT-3 を上回ります。
  論文  参考訳（メタデータ） (2023-08-18T14:23:21Z)
• Mathematical Capabilities of ChatGPT [35.71603158908465]
  GHOSTSとminiGHOSTSの2つの新しいデータセットをリリースしています。 これらは、数学の研究者によって計算された最初の自然言語データセットである。 モデルを、詳細なパフォーマンス指標でベンチマークします。
  論文  参考訳（メタデータ） (2023-01-31T18:59:03Z)
• JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem Understanding [74.12405417718054]
  本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。 他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。 基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-06-13T17:03:52Z)
• MathBERT: A Pre-Trained Model for Mathematical Formula Understanding [12.721947240253977]
  本稿では,数学的公式とそれに対応する文脈を併用した新しい事前学習モデル,textbfMathBERTを提案する。 我々は,数学情報検索,公式トピック分類,公式見出し生成など,3つの下流タスクについて様々な実験を行い,MathBERTの性能評価を行った。 我々は,この事前学習モデルが式の意味レベル構造情報を効果的にキャプチャできることを定性的に示す。
  論文  参考訳（メタデータ） (2021-05-02T02:10:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。