論文の概要: MathBERT: A Pre-Trained Model for Mathematical Formula Understanding
- arxiv url: http://arxiv.org/abs/2105.00377v1
- Date: Sun, 2 May 2021 02:10:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-04 14:22:33.123799
- Title: MathBERT: A Pre-Trained Model for Mathematical Formula Understanding
- Title（参考訳）: MathBERT:数学式理解のための事前学習モデル
- Authors: Shuai Peng, Ke Yuan, Liangcai Gao, Zhi Tang
- Abstract要約: 本稿では,数学的公式とそれに対応する文脈を併用した新しい事前学習モデル,textbfMathBERTを提案する。
我々は,数学情報検索,公式トピック分類,公式見出し生成など,3つの下流タスクについて様々な実験を行い,MathBERTの性能評価を行った。
我々は,この事前学習モデルが式の意味レベル構造情報を効果的にキャプチャできることを定性的に示す。
- 参考スコア（独自算出の注目度）: 12.721947240253977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale pre-trained models like BERT, have obtained a great success in
various Natural Language Processing (NLP) tasks, while it is still a challenge
to adapt them to the math-related tasks. Current pre-trained models neglect the
structural features and the semantic correspondence between formula and its
context. To address these issues, we propose a novel pre-trained model, namely
\textbf{MathBERT}, which is jointly trained with mathematical formulas and
their corresponding contexts. In addition, in order to further capture the
semantic-level structural features of formulas, a new pre-training task is
designed to predict the masked formula substructures extracted from the
Operator Tree (OPT), which is the semantic structural representation of
formulas. We conduct various experiments on three downstream tasks to evaluate
the performance of MathBERT, including mathematical information retrieval,
formula topic classification and formula headline generation. Experimental
results demonstrate that MathBERT significantly outperforms existing methods on
all those three tasks. Moreover, we qualitatively show that this pre-trained
model effectively captures the semantic-level structural information of
formulas. To the best of our knowledge, MathBERT is the first pre-trained model
for mathematical formula understanding.
- Abstract（参考訳）: bertのような大規模な事前学習されたモデルは、様々な自然言語処理(nlp)タスクで大きな成功を収めていますが、数学関連のタスクにそれらを適用することは依然として課題です。
現在の事前学習モデルは、公式とその文脈の間の構造的特徴と意味的対応を無視している。
これらの問題に対処するため,数式とそれに対応する文脈を併用した新しい事前学習モデルである「textbf{MathBERT}」を提案する。
また、式の意味レベルの構造的特徴をさらに捉えるために、演算木(opt)から抽出されたマスク式サブ構造(式の意味的構造表現)を予測するために、新しい事前学習タスクが設計されている。
我々は,数学情報検索,公式トピック分類,公式見出し生成など,3つの下流タスクについて様々な実験を行い,MathBERTの性能を評価する。
実験の結果、MathBERTはこれらの3つのタスクで既存のメソッドよりも大幅に優れていた。
さらに, この事前学習モデルは, 式の意味レベル構造情報を効果的に捉えることを定性的に示す。
我々の知る限りでは、MathBERTは数学式理解のための最初の事前学習モデルである。
関連論文リスト
- Integrating Arithmetic Learning Improves Mathematical Reasoning in Smaller Models [0.0]
高品質なデータに事前訓練された大規模なモデルは、様々な推論タスクにおいて優れたパフォーマンスを示す。
より小さな学生モデルは教師モデルから学び、質問を言い換えるなどのデータ拡張を行う。
これらの努力にもかかわらず、より小さなモデルは算術計算に苦慮し、数学的推論の誤りにつながる。
論文 参考訳（メタデータ） (2025-02-18T13:43:06Z) - MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task [49.355810887265925]
数学的推論ステップ拡張のための新しいフレームワークであるMathFimerを紹介する。
我々は、慎重にキュレートしたNuminaMath-FIMデータセットに基づいて、特殊モデルMathFimer-7Bを開発した。
次に、これらのモデルを適用して、解鎖に詳細な中間ステップを挿入することで、既存の数学的推論データセットを強化する。
論文 参考訳（メタデータ） (2025-02-17T11:22:24Z) - TRIGO: Benchmarking Formal Mathematical Proof Reduction for Generative
Language Models [68.65075559137608]
本稿では, ATP ベンチマーク TRIGO を提案する。このベンチマークでは, ステップバイステップの証明で三角法式を縮小するだけでなく, 論理式上で生成する LM の推論能力を評価する。
我々は、Webから三角法式とその縮小フォームを収集し、手作業で単純化プロセスに注釈を付け、それをリーン形式言語システムに翻訳する。
我々はLean-Gymに基づく自動生成装置を開発し、モデルの一般化能力を徹底的に分析するために、様々な困難と分布のデータセット分割を作成する。
論文 参考訳（メタデータ） (2023-10-16T08:42:39Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained
Models [96.9373147383119]
重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。
それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。
これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-05-22T08:39:25Z) - JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem
Understanding [74.12405417718054]
本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。
他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。
基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
論文 参考訳（メタデータ） (2022-06-13T17:03:52Z) - Improving Knowledge Graph Representation Learning by Structure
Contextual Pre-training [9.70121995251553]
本稿では,知識グラフ表現学習のための学習前処理フレームワークを提案する。
KGモデルは3つの分類タスクで事前訓練され、続いて特定の下流タスクで識別的微調整が行われる。
実験結果から, 微調整SCoPは下流タスクのポートフォリオにおけるベースラインの結果を上回るだけでなく, 面倒なタスク固有のモデル設計やパラメータトレーニングを回避していることがわかった。
論文 参考訳（メタデータ） (2021-12-08T02:50:54Z) - Turning Tables: Generating Examples from Semi-structured Tables for
Endowing Language Models with Reasoning Skills [32.55545292360155]
本稿では,半構造化テーブルを活用し,大規模質問とパラグラフのペアを自動的に生成する手法を提案する。
16種類の推論スキルを必要とする例を含む、この合成データに対する事前学習のステップを追加します。
我々のモデルであるPReasMは、トレーニング済みエンコーダ-デコーダモデルであるT5を大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2021-07-15T11:37:14Z) - Proof Artifact Co-training for Theorem Proving with Language Models [4.934817254755007]
PACT(bf Proof bf Artifact bf Co-bf Training)は、カーネルレベルのコトレーニング用証明項から自己教師付きデータを抽出する一般的な手法である。
我々は、Transformer言語モデルによって駆動されるニューラル定理証明器でリーンを計測し、PACTがテスト定理の保留組における成功率を証明する定理を32%から48%に改善することを示す。
論文 参考訳（メタデータ） (2021-02-11T18:59:24Z) - SMART: A Situation Model for Algebra Story Problems via Attributed
Grammar [74.1315776256292]
本稿では, 問題解決における人間の精神状態を表現する心理学研究から生まれた, emphsituation modelの概念を紹介する。
提案モデルでは,より優れた解釈性を保ちながら,従来のすべてのニューラルソルバを大きなマージンで上回る結果が得られた。
論文 参考訳（メタデータ） (2020-12-27T21:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。