論文の概要: Mathematical Entities: Corpora and Benchmarks
- arxiv url: http://arxiv.org/abs/2406.11577v1
- Date: Mon, 17 Jun 2024 14:11:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 14:32:20.221333
- Title: Mathematical Entities: Corpora and Benchmarks
- Title（参考訳）: 数学的実体:コーパスとベンチマーク
- Authors: Jacob Collard, Valeria de Paiva, Eswaran Subrahmanian,
- Abstract要約: 数学テキストに対する自然言語処理の研究は比較的少ない。
我々は、異なる文脈で数学の言語を研究するのに使用できる注釈付きコーパスを提供する。
- 参考スコア（独自算出の注目度）: 0.8766411351797883
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Mathematics is a highly specialized domain with its own unique set of challenges. Despite this, there has been relatively little research on natural language processing for mathematical texts, and there are few mathematical language resources aimed at NLP. In this paper, we aim to provide annotated corpora that can be used to study the language of mathematics in different contexts, ranging from fundamental concepts found in textbooks to advanced research mathematics. We preprocess the corpora with a neural parsing model and some manual intervention to provide part-of-speech tags, lemmas, and dependency trees. In total, we provide 182397 sentences across three corpora. We then aim to test and evaluate several noteworthy natural language processing models using these corpora, to show how well they can adapt to the domain of mathematics and provide useful tools for exploring mathematical language. We evaluate several neural and symbolic models against benchmarks that we extract from the corpus metadata to show that terminology extraction and definition extraction do not easily generalize to mathematics, and that additional work is needed to achieve good performance on these metrics. Finally, we provide a learning assistant that grants access to the content of these corpora in a context-sensitive manner, utilizing text search and entity linking. Though our corpora and benchmarks provide useful metrics for evaluating mathematical language processing, further work is necessary to adapt models to mathematics in order to provide more effective learning assistants and apply NLP methods to different mathematical domains.
- Abstract（参考訳）: 数学は高度に専門化された分野であり、独自の課題がある。
それにもかかわらず、数学テキストの自然言語処理に関する研究は比較的少なく、NLPを対象とする数学的言語資源は少ない。
本稿では,教科書に見られる基本概念から高度な研究数学まで,さまざまな文脈で数学の言語を研究するために使用できる注釈付きコーパスの提供を目的とする。
コーパスをニューラル解析モデルと手作業で前処理し、音声タグ、レムマ、依存木を提供する。
総じて、3つのコーパスに182397の文を提供する。
次に、これらのコーパスを用いていくつかの注目すべき自然言語処理モデルを検証、評価し、数学の領域にどの程度適応できるかを示し、数学的言語を探索するための有用なツールを提供する。
コーパスメタデータから抽出したベンチマークに対して,数種類のニューラルモデルと記号モデルを評価し,用語抽出と定義抽出が数学に容易に一般化できないことを示すとともに,これらの指標の優れた性能を達成するためには追加の作業が必要であることを示す。
最後に、テキスト検索とエンティティリンクを利用して、文脈に敏感な方法でこれらのコーパスの内容へのアクセスを許可する学習アシスタントを提供する。
コーパスとベンチマークは、数学的言語処理を評価する上で有用な指標を提供するが、より効果的な学習支援を提供し、異なる数学領域にNLP手法を適用するためには、さらに多くの作業が必要である。
関連論文リスト
- MathBench: Evaluating the Theory and Application Proficiency of LLMs with a Hierarchical Mathematics Benchmark [82.64129627675123]
MathBenchは、大規模言語モデルの数学的能力を厳格に評価する新しいベンチマークである。
MathBenchは幅広い数学の分野にまたがっており、理論的な理解と実践的な問題解決のスキルの両方を詳細に評価している。
論文 参考訳（メタデータ） (2024-05-20T17:52:29Z) - Large Language Models for Mathematicians [53.27302720305432]
大規模言語モデル(LLM)は、汎用言語理解、特に高品質なテキストやコンピュータコードを生成する能力に多大な関心を集めている。
本稿では,プロの数学者をどの程度支援できるかについて論じる。
論文 参考訳（メタデータ） (2023-12-07T18:59:29Z) - Extracting Mathematical Concepts with Large Language Models [6.371906893858652]
我々は,2020年ごろのオンライン雑誌『カテゴリの理論と応用』のスナップショットから,755の抽象概念をコーパスとして,ある数学分野における用語の自動抽出を目指す。
数学用語の抽出がそもそも難しい問題となる理由を、より徹底的に分析する。
我々は、数学以外のあらゆる分野に適用可能な、人間がATEを扱うのを助ける新しいアノテーションツールを導入する。
論文 参考訳（メタデータ） (2023-08-29T20:54:50Z) - Parmesan: mathematical concept extraction for education [0.5520082338220947]
本研究では,カテゴリー論の分野に焦点をあて,文脈における数学的概念の探索と定義を行うプロトタイプシステムの開発を行う。
このシステムは、概念抽出、関係抽出、定義抽出、エンティティリンクを含む自然言語処理コンポーネントに依存している。
また,ジャーナル記事やウィキページをベースとしたプロトタイプシステムを利用した2つのクリーンな数学的コーパスも提供する。
論文 参考訳（メタデータ） (2023-07-13T11:55:03Z) - Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。
我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。
我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
論文 参考訳（メタデータ） (2023-06-02T17:12:25Z) - Tree-Based Representation and Generation of Natural and Mathematical
Language [77.34726150561087]
科学コミュニケーションと教育シナリオにおける数学的言語は重要であるが、比較的研究されている。
数学言語に関する最近の研究は、スタンドアローンな数学的表現や、事前訓練された自然言語モデルにおける数学的推論に焦点をあてている。
テキストと数学を共同で表現・生成するために,既存の言語モデルに対する一連の修正を提案する。
論文 参考訳（メタデータ） (2023-02-15T22:38:34Z) - A Survey of Deep Learning for Mathematical Reasoning [71.88150173381153]
我々は過去10年間の数学的推論とディープラーニングの交差点における重要なタスク、データセット、方法についてレビューする。
大規模ニューラルネットワークモデルの最近の進歩は、新しいベンチマークと、数学的推論にディープラーニングを使用する機会を開放している。
論文 参考訳（メタデータ） (2022-12-20T18:46:16Z) - JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem
Understanding [74.12405417718054]
本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。
他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。
基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
論文 参考訳（メタデータ） (2022-06-13T17:03:52Z) - Learning to Match Mathematical Statements with Proofs [37.38969121408295]
このタスクは、研究レベルの数学的テキストの処理を改善するために設計されている。
我々は180k以上の文対からなるタスク用のデータセットをリリースする。
課題をグローバルに検討し,重み付き二部マッチングアルゴリズムを用いることで,課題に対処できることが示唆された。
論文 参考訳（メタデータ） (2021-02-03T15:38:54Z) - Natural Language Premise Selection: Finding Supporting Statements for
Mathematical Text [3.42658286826597]
提案するNLPタスクは,サポート定義の検索や提案の支持に使用される自然前提選択である。
また、NL-PSというデータセットを利用可能にすることで、自然環境選択タスクに対する様々なアプローチを評価することができる。
論文 参考訳（メタデータ） (2020-04-30T17:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。