論文の概要: A Transformer-based Math Language Model for Handwritten Math Expression
Recognition
- arxiv url: http://arxiv.org/abs/2108.05002v1
- Date: Wed, 11 Aug 2021 03:03:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-12 13:43:31.656915
- Title: A Transformer-based Math Language Model for Handwritten Math Expression
Recognition
- Title(参考訳): 手書き数式認識のためのトランスフォーマーに基づく数学言語モデル
- Authors: Huy Quang Ung, Cuong Tuan Nguyen, Hung Tuan Nguyen, Thanh-Nghia Truong
and Masaki Nakagawa
- Abstract要約: 数学の記号は、ドットやコマ、0、O、oなどの書体で非常によく似ている。
本稿ではトランスフォーマーに基づく数学言語モデル(TMLM)を提案する。
TMLMは4.42の難易度を達成し、従来の数学言語モデルよりも優れていた。
- 参考スコア(独自算出の注目度): 7.202733269706245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Handwritten mathematical expressions (HMEs) contain ambiguities in their
interpretations, even for humans sometimes. Several math symbols are very
similar in the writing style, such as dot and comma or 0, O, and o, which is a
challenge for HME recognition systems to handle without using contextual
information. To address this problem, this paper presents a Transformer-based
Math Language Model (TMLM). Based on the self-attention mechanism, the
high-level representation of an input token in a sequence of tokens is computed
by how it is related to the previous tokens. Thus, TMLM can capture long
dependencies and correlations among symbols and relations in a mathematical
expression (ME). We trained the proposed language model using a corpus of
approximately 70,000 LaTeX sequences provided in CROHME 2016. TMLM achieved the
perplexity of 4.42, which outperformed the previous math language models, i.e.,
the N-gram and recurrent neural network-based language models. In addition, we
combine TMLM into a stochastic context-free grammar-based HME recognition
system using a weighting parameter to re-rank the top-10 best candidates. The
expression rates on the testing sets of CROHME 2016 and CROHME 2019 were
improved by 2.97 and 0.83 percentage points, respectively.
- Abstract(参考訳): 手書きの数学的表現(HME)は、人間の解釈にあいまいさを含むことがある。
いくつかの数学記号は、ドットやコマ、0、O、oなどの書体で非常によく似ており、文脈情報を使わずにHME認識システムが扱うことは困難である。
そこで本研究では,トランスフォーマーを用いた数学言語モデル(TMLM)を提案する。
自己確認機構に基づいて、トークン列における入力トークンの高レベル表現を、その前のトークンとの関連性によって算出する。
したがって、TMLMは、数学的表現(ME)における記号と関係の間の長い依存関係と相関を捉えることができる。
CROHME 2016で提供された約70,000個のLaTeX配列のコーパスを用いて,提案言語モデルを訓練した。
TMLMは4.42の難易度を達成し、従来の数学言語モデル、すなわちN-gramとリカレントニューラルネットワークベースの言語モデルを上回った。
さらに,TMLMを確率的文脈自由文法に基づくHME認識システムに結合し,重み付けパラメータを用いてトップ10候補を再ランクする。
crohme 2016 と crohme 2019 の試験セットの表現率をそれぞれ 2.97 % と 0.83 %向上させた。
関連論文リスト
- Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion
Tokens [148.44679480658303]
神経大言語モデル(LLM)の時代において,n-gram言語モデルはいまだに関係していることを示す。
Infini-gramという名前のエンジン - 接尾辞配列をベースとして - はミリ秒レベルのレイテンシで$infty$-gramの確率を計算することができる。
その結果,次の予測精度(47%)はかなり高く,言語モデリングの難易度を大幅に低減するために,ニューラルLLMを補うことができることがわかった。
論文 参考訳(メタデータ) (2024-01-30T19:03:49Z) - Which Syntactic Capabilities Are Statistically Learned by Masked
Language Models for Code? [51.29970742152668]
精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。
これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
論文 参考訳(メタデータ) (2024-01-03T02:44:02Z) - Generative AI for Math: Part I -- MathPile: A Billion-Token-Scale
Pretraining Corpus for Math [52.66190891388847]
約950億のトークンからなる多様で高品質な数学中心コーパスであるtextscMathPileを紹介します。
精巧なデータ収集と処理には、複雑な事前処理が含まれていました。
われわれのtextscMathPileは、言語モデルの数学的推論能力を高めるのに役立つことを願っている。
論文 参考訳(メタデータ) (2023-12-28T16:55:40Z) - Exploring Equation as a Better Intermediate Meaning Representation for
Numerical Reasoning [53.2491163874712]
我々は数値推論の問題を解くために方程式をIMRとして利用する。
本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。
本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
論文 参考訳(メタデータ) (2023-08-21T09:35:33Z) - Techniques to Improve Neural Math Word Problem Solvers [0.0]
最近のニューラルベースアプローチは、主に言語モデルを用いて問題テキストをエンコードし、量や演算子を反復的に数学的表現をデコードする。
本稿では,質問文を完全に活用し,段階的可換法則を保存するエンコーダ・デコーダアーキテクチャを提案する。
確立された4つのベンチマーク実験により、我々のフレームワークは最先端のニューラルMWPソルバより優れていることが示された。
論文 参考訳(メタデータ) (2023-02-06T22:41:51Z) - Representation Deficiency in Masked Language Modeling [101.42649777874767]
我々は Masked Autoencoder アーキテクチャを事前トレーニングする MAE-LM を提案し,$tt[MASK]$トークンをエンコーダから除外する。
GLUE と SQuAD ベンチマークで微調整した場合,MAE-LM は,事前学習したモデルに対して,異なる事前学習設定とモデルサイズで一貫した性能を示した。
論文 参考訳(メタデータ) (2023-02-04T01:54:17Z) - Offline Handwritten Mathematical Recognition using Adversarial Learning
and Transformers [3.9220281834178463]
オフラインのHMERは、オンラインのHMERに比べてはるかに難しい問題と見なされることが多い。
本稿では,対向学習を用いたエンコーダ・デコーダモデルを提案する。
最新のCROHME 2019テストセットを4%改善しました。
論文 参考訳(メタデータ) (2022-08-20T11:45:02Z) - Syntax-Aware Network for Handwritten Mathematical Expression Recognition [53.130826547287626]
手書き数式認識(HMER)は、多くの潜在的な応用が可能な課題である。
HMERの最近の手法はエンコーダ・デコーダアーキテクチャで優れた性能を実現している。
本稿では,構文情報をエンコーダ・デコーダネットワークに組み込んだHMERの簡易かつ効率的な手法を提案する。
論文 参考訳(メタデータ) (2022-03-03T09:57:19Z) - Generating Math Word Problems from Equations with Topic Controlling and
Commonsense Enforcement [11.459200644989227]
本稿では,新しいテキスト生成モデルを提案する。
本モデルでは, 方程式を効果的に符号化するフレキシブルなスキームを提案し, 可変オートエンコーダ(VAE)による方程式エンコーダを強化する。
論文 参考訳(メタデータ) (2020-12-14T10:02:11Z) - Mathematical Word Problem Generation from Commonsense Knowledge Graph
and Equations [27.063577644162358]
実世界のシナリオにおいて,コモンセンス知識グラフと方程式から多様なMWPを生成するエンド・ツー・エンドのニューラルモデルを開発した。
提案したモデルは、記号方程式とコモンセンス知識のエッジ付きレヴィグラフから両方の表現を学習する。
教育用ゴールドスタンダードセットと大規模MWPセットの実験により,本手法がMWP生成タスクよりも優れていることが示された。
論文 参考訳(メタデータ) (2020-10-13T06:31:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。