論文の概要: JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem
Understanding
- arxiv url: http://arxiv.org/abs/2206.06315v1
- Date: Mon, 13 Jun 2022 17:03:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 13:33:59.975369
- Title: JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem
Understanding
- Title(参考訳): jiuzhang: 数学問題理解のための中国語事前学習言語モデル
- Authors: Wayne Xin Zhao, Kun Zhou, Zheng Gong, Beichen Zhang, Yuanhang Zhou,
Jing Sha, Zhigang Chen, Shijin Wang, Cong Liu, Ji-Rong Wen
- Abstract要約: 本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。
他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。
基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
- 参考スコア(独自算出の注目度): 74.12405417718054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper aims to advance the mathematical intelligence of machines by
presenting the first Chinese mathematical pre-trained language model~(PLM) for
effectively understanding and representing mathematical problems. Unlike other
standard NLP tasks, mathematical texts are difficult to understand, since they
involve mathematical terminology, symbols and formulas in the problem
statement. Typically, it requires complex mathematical logic and background
knowledge for solving mathematical problems.
Considering the complex nature of mathematical texts, we design a novel
curriculum pre-training approach for improving the learning of mathematical
PLMs, consisting of both basic and advanced courses. Specially, we first
perform token-level pre-training based on a position-biased masking strategy,
and then design logic-based pre-training tasks that aim to recover the shuffled
sentences and formulas, respectively. Finally, we introduce a more difficult
pre-training task that enforces the PLM to detect and correct the errors in its
generated solutions. We conduct extensive experiments on offline evaluation
(including nine math-related tasks) and online $A/B$ test. Experimental results
demonstrate the effectiveness of our approach compared with a number of
competitive baselines. Our code is available at:
\textcolor{blue}{\url{https://github.com/RUCAIBox/JiuZhang}}.
- Abstract(参考訳): 本稿では,中国初の数学事前学習言語モデル(plm)を提示することで,機械の数学的知性を向上させることを目的とする。
他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。
一般に、数学問題を解決するには複雑な数学的論理と背景知識が必要である。
数学テキストの複雑な性質を考慮し,基礎科と高等科の両方からなる数学plmの学習を改善するための新しいカリキュラム事前学習手法を考案する。
具体的には,まず位置バイアスマスキング戦略に基づいてトークンレベルの事前学習を行い,その後,シャッフル文と式をそれぞれ復元する論理に基づく事前学習タスクを設計する。
最後に,plmが生成したソリューションのエラーの検出と修正を強制する,より難しい事前学習タスクを導入する。
オフライン評価(9つの数学関連タスクを含む)とオンラインの$A/B$テストについて広範な実験を行った。
実験により, 提案手法の有効性を, 競争力のあるベースラインと比較した。
コードは \textcolor{blue}{\url{https://github.com/rucaibox/jiuzhang}} で利用可能です。
関連論文リスト
- FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese
Large Language Models [47.560637703675816]
FineMathは、中国語大言語モデル(LLM)を評価するための詳細な数学的評価ベンチマークデータセットである。
FineMathは、小学校数学で教えられる主要な数学的概念をカバーし、数学用語の問題の17のカテゴリに分けられる。
数学の単語問題のうち17のカテゴリは、これらの問題を解決するために必要な推論ステップの数に応じて、難易度を手動でアノテートする。
論文 参考訳(メタデータ) (2024-03-12T15:32:39Z) - GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of
LLMs as Mathematical Problem Solvers [73.78371810664319]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。
1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。
このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文 参考訳(メタデータ) (2024-02-29T15:26:14Z) - Solving Math Word Problems with Reexamination [27.80592576792461]
モデルに依存しない擬似双対学習手法を提案する。
擬似双対タスクは、表現中の数字を元の単語問題に記入し、数字をマスクするものとして特に定義される。
提案手法は,複数の代表MWPソルバを実証実験により適用した場合に有効であることが確認された。
論文 参考訳(メタデータ) (2023-10-14T14:23:44Z) - Towards a Holistic Understanding of Mathematical Questions with
Contrastive Pre-training [65.10741459705739]
本稿では,数学的問題表現,すなわち QuesCo に対する対照的な事前学習手法を提案する。
まず、コンテンツレベルと構造レベルを含む2段階の質問強化を設計し、類似した目的で文字通り多様な質問ペアを生成する。
そこで我々は,知識概念の階層的情報を完全に活用するために,知識階層を意識したランク戦略を提案する。
論文 参考訳(メタデータ) (2023-01-18T14:23:29Z) - Highlighting Named Entities in Input for Auto-Formulation of
Optimization Problems [0.0]
本稿では,線形プログラム語問題を数学的定式化に変換する手法を提案する。
入力に名前付きエンティティを活用し、これらのエンティティをハイライトするためにインプットを拡張します。
提案手法は,NL4Optコンペティションへの応募者の中で最も高い精度を実現し,生成トラックにおける第1位を確保した。
論文 参考訳(メタデータ) (2022-12-26T16:13:57Z) - A Survey of Deep Learning for Mathematical Reasoning [71.88150173381153]
我々は過去10年間の数学的推論とディープラーニングの交差点における重要なタスク、データセット、方法についてレビューする。
大規模ニューラルネットワークモデルの最近の進歩は、新しいベンチマークと、数学的推論にディープラーニングを使用する機会を開放している。
論文 参考訳(メタデータ) (2022-12-20T18:46:16Z) - Tackling Math Word Problems with Fine-to-Coarse Abstracting and
Reasoning [22.127301797950572]
本稿では,局所的なきめ細かい情報と,その大域的な論理構造の両方を捉えるために,微粒な方法で数学語問題をモデル化することを提案する。
我々のモデルは局所的な変動に自然に敏感であり、目に見えない問題タイプにより良い一般化が可能である。
論文 参考訳(メタデータ) (2022-05-17T12:14:44Z) - Learning to Match Mathematical Statements with Proofs [37.38969121408295]
このタスクは、研究レベルの数学的テキストの処理を改善するために設計されている。
我々は180k以上の文対からなるタスク用のデータセットをリリースする。
課題をグローバルに検討し,重み付き二部マッチングアルゴリズムを用いることで,課題に対処できることが示唆された。
論文 参考訳(メタデータ) (2021-02-03T15:38:54Z) - SMART: A Situation Model for Algebra Story Problems via Attributed
Grammar [74.1315776256292]
本稿では, 問題解決における人間の精神状態を表現する心理学研究から生まれた, emphsituation modelの概念を紹介する。
提案モデルでは,より優れた解釈性を保ちながら,従来のすべてのニューラルソルバを大きなマージンで上回る結果が得られた。
論文 参考訳(メタデータ) (2020-12-27T21:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。