論文の概要: MathBERT: A Pre-trained Language Model for General NLP Tasks in
Mathematics Education
- arxiv url: http://arxiv.org/abs/2106.07340v1
- Date: Wed, 2 Jun 2021 02:43:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-20 21:26:53.183116
- Title: MathBERT: A Pre-trained Language Model for General NLP Tasks in
Mathematics Education
- Title(参考訳): MathBERT:数学教育における一般NLPタスクのための事前学習言語モデル
- Authors: Jia Tracy Shen, Michiharu Yamashita, Ethan Prihar, Neil Heffernan,
Xintao Wu, Dongwon Lee
- Abstract要約: 本研究では,大容量の数学コーパスを事前学習したBERTであるMathBERTを提案する。
我々は、MathBERTで事前学習するためのカスタマイズされた数学的語彙を生成し、その性能を元のBERT語彙と事前学習されたMathBERTと比較する。
実験の結果, MathBERT は BERT を 2-9% 差で上回っていることがわかった。
- 参考スコア(独自算出の注目度): 15.401376791634615
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Due to the transfer learning nature of BERT model, researchers have achieved
better performance than base BERT by further pre-training the original BERT on
a huge domain-specific corpus. Due to the special nature of mathematical texts
which often contain math equations and symbols, the original BERT model
pre-trained on general English context will not fit Natural Language Processing
(NLP) tasks in mathematical education well. Therefore, we propose MathBERT, a
BERT pre-trained on large mathematical corpus including pre-k to graduate level
mathematical content to tackle math-specific tasks. In addition, We generate a
customized mathematical vocabulary to pre-train with MathBERT and compare the
performance to the MathBERT pre-trained with the original BERT vocabulary. We
select three important tasks in mathematical education such as knowledge
component, auto-grading, and knowledge tracing prediction to evaluate the
performance of MathBERT. Our experiments show that MathBERT outperforms the
base BERT by 2-9\% margin. In some cases, MathBERT pre-trained with
mathematical vocabulary is better than MathBERT trained with original
vocabulary.To our best knowledge, MathBERT is the first pre-trained model for
general purpose mathematics education tasks.
- Abstract(参考訳): BERTモデルの転写学習特性のため、研究者は、独自のBERTを巨大なドメイン固有コーパスで事前学習することで、ベースBERTよりも優れたパフォーマンスを実現している。
数学テキストは数学の方程式や記号を含むことが多いため、一般的な英語の文脈で事前訓練されたBERTモデルは、数学教育において自然言語処理(NLP)のタスクに適さない。
そこで本研究では,算数固有の問題に取り組むために,プレkから卒業レベルの数学内容を含む大規模数学的コーパス上で事前訓練されたBERTであるMathBERTを提案する。
さらに,MathBERTを事前学習するための数学的語彙を生成するとともに,従来のBERT語彙と事前学習したMathBERTとの比較を行う。
数学教育における3つの重要な課題(知識要素,自動学習,知識追跡予測)を選択し,その評価を行った。
実験の結果, MathBERT は BERT を 2-9 % 差で上回っていることがわかった。
数学の語彙で事前訓練されたMathBERTは、元の語彙で訓練されたMathBERTよりも優れており、私たちの知る限り、MathBERTは汎用数学教育タスクのための最初の事前学習モデルである。
関連論文リスト
- MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
大規模言語モデル(LLM)は問題解決において顕著な能力を示した。
しかし、数学的な問題を解く能力は依然として不十分である。
高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:42:59Z) - InternLM-Math: Open Math Large Language Models Toward Verifiable
Reasoning [99.8200914526817]
InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。
我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。
我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
論文 参考訳(メタデータ) (2024-02-09T11:22:08Z) - MathGloss: Building mathematical glossaries from text [0.620048328543366]
MathGlossは数学の学部概念のデータベースである。
最新の自然言語処理(NLP)ツールとWeb上で既に利用可能なリソースを使用している。
論文 参考訳(メタデータ) (2023-11-21T14:49:00Z) - Llemma: An Open Language Model For Mathematics [48.30865186388188]
数学のための大きな言語モデルであるLlemmaを紹介します。
MATHベンチマークでは、Llemmaはすべての既知のオープンベースモデルより優れている。
レムマは道具の使用と公式な定理を証明することができるが、それ以上の微調整は行わない。
論文 参考訳(メタデータ) (2023-10-16T17:54:07Z) - MAmmoTH: Building Math Generalist Models through Hybrid Instruction
Tuning [60.208045804204076]
我々は,一般的な数学問題解決に適したオープンソースの大規模言語モデル(LLM)であるMAmmoTHを紹介する。
MAmmoTHモデルは、厳密にキュレートされた命令チューニングデータセットであるMathInstructでトレーニングされている。
論文 参考訳(メタデータ) (2023-09-11T17:47:22Z) - WizardMath: Empowering Mathematical Reasoning for Large Language Models
via Reinforced Evol-Instruct [128.89645483139236]
本稿では,Llama-2の数学的推論能力を向上するWizardMathを提案する。
GSM8kではChatGPT-3.5, Claude Instant-1, PaLM-2, Minervaを上回り, 同時にMATHでは Text-davinci, PaLM-1, GPT-3 を上回ります。
論文 参考訳(メタデータ) (2023-08-18T14:23:21Z) - Mathematical Capabilities of ChatGPT [35.71603158908465]
GHOSTSとminiGHOSTSの2つの新しいデータセットをリリースしています。
これらは、数学の研究者によって計算された最初の自然言語データセットである。
モデルを、詳細なパフォーマンス指標でベンチマークします。
論文 参考訳(メタデータ) (2023-01-31T18:59:03Z) - JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem
Understanding [74.12405417718054]
本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。
他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。
基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
論文 参考訳(メタデータ) (2022-06-13T17:03:52Z) - MathBERT: A Pre-Trained Model for Mathematical Formula Understanding [12.721947240253977]
本稿では,数学的公式とそれに対応する文脈を併用した新しい事前学習モデル,textbfMathBERTを提案する。
我々は,数学情報検索,公式トピック分類,公式見出し生成など,3つの下流タスクについて様々な実験を行い,MathBERTの性能評価を行った。
我々は,この事前学習モデルが式の意味レベル構造情報を効果的にキャプチャできることを定性的に示す。
論文 参考訳(メタデータ) (2021-05-02T02:10:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。