論文の概要: Extracting Definienda in Mathematical Scholarly Articles with
Transformers
- arxiv url: http://arxiv.org/abs/2311.12448v1
- Date: Tue, 21 Nov 2023 08:58:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 01:33:19.442702
- Title: Extracting Definienda in Mathematical Scholarly Articles with
Transformers
- Title(参考訳): 変圧器を用いた数理学術論文におけるデフィニエンダの抽出
- Authors: Shufan Jiang (VALDA), Pierre Senellart (DI-ENS, VALDA)
- Abstract要約: 学術論文のテキストから数学的定義の中で定義項を自動的に識別することを検討する。
最近の(そして高価な) GPT 4 や、我々のタスクで微調整されたより単純な事前訓練モデルを用いて、高いレベルの精度に到達し、リコールすることが可能である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider automatically identifying the defined term within a mathematical
definition from the text of an academic article. Inspired by the development of
transformer-based natural language processing applications, we pose the problem
as (a) a token-level classification task using fine-tuned pre-trained
transformers; and (b) a question-answering task using a generalist large
language model (GPT). We also propose a rule-based approach to build a labeled
dataset from the LATEX source of papers. Experimental results show that it is
possible to reach high levels of precision and recall using either recent (and
expensive) GPT 4 or simpler pre-trained models fine-tuned on our task.
- Abstract(参考訳): 学術論文のテキストから数学的定義の中で定義項を自動的に識別することを検討する。
変圧器型自然言語処理アプリケーションの開発に触発され,問題となっている。
(a)微調整予調変圧器を用いたトークンレベル分類課題
(b)汎用大言語モデル(GPT)を用いた質問応答タスク。
また,論文のLATEXソースからラベル付きデータセットを構築するためのルールベースのアプローチを提案する。
実験結果から,最新の(かつ高価な) GPT 4 あるいはより単純な事前学習モデルを用いて,高い精度でリコールを行うことが可能であることが示唆された。
関連論文リスト
- Transformer Based Implementation for Automatic Book Summarization [0.0]
文書要約 (Document Summarization) とは、ある文書の意味的かつ簡潔な要約を生成する手順である。
この作業は、抽象生成にTransformerベースのテクニックを使用する試みである。
論文 参考訳(メタデータ) (2023-01-17T18:18:51Z) - Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。
次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
論文 参考訳(メタデータ) (2022-05-02T21:41:14Z) - BERT got a Date: Introducing Transformers to Temporal Tagging [4.651578365545765]
本稿では,RoBERTa言語モデルを用いたトランスフォーマー・エンコーダ・デコーダモデルを提案する。
我々のモデルは、特に稀なクラスにおいて、時間的タグ付けや型分類において、過去の研究を上回っている。
論文 参考訳(メタデータ) (2021-09-30T08:54:21Z) - Hidden Markov Based Mathematical Model dedicated to Extract Ingredients
from Recipe Text [0.0]
POSタグ(Partof-speech tagging)は、注釈付きコーパスを必要とする前処理タスクである。
隠れマルコフ構造に基づく数学的モデルを実行し,テキストレシピから抽出した成分の高精度な精度を得た。
論文 参考訳(メタデータ) (2021-09-28T14:38:11Z) - Matching with Transformers in MELT [1.2891210250935146]
我々は、オントロジーと知識グラフマッチングに適したMELTフレームワークで簡単に使える実装を提供する。
変換器をベースとしたフィルタは,ハイリコールアライメントによって適切な対応を選択するのに役立つことを示す。
論文 参考訳(メタデータ) (2021-09-15T16:07:43Z) - Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。
我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。
本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文 参考訳(メタデータ) (2021-08-31T19:39:55Z) - Pretrained Transformers as Universal Computation Engines [105.00539596788127]
自然言語で事前学習したトランスフォーマーを,最小限の微調整で他のモダリティに一般化する能力について検討する。
本研究では, 数値計算, 視覚, タンパク質折り畳み予測にまたがる様々なシーケンス分類タスクについて, 微調整を行った。
このようなプリトレーニングにより、FPTはこれらのモダリティにゼロショットで一般化することができ、これらのタスクで完全に訓練されたトランスのパフォーマンスと一致します。
論文 参考訳(メタデータ) (2021-03-09T06:39:56Z) - Teach me how to Label: Labeling Functions from Natural Language with
Text-to-text Transformers [0.5330240017302619]
本稿では,自然言語記述をPythonラベリング関数に変換する作業に焦点をあてる。
我々は、事前訓練されたテキスト・トゥ・テキスト・トランスフォーマを用いた意味解析の新しいアプローチに従う。
我々のアプローチは、自然言語でラベルを付ける方法を教えるモデルへの一歩と見なすことができる。
論文 参考訳(メタデータ) (2021-01-18T16:04:15Z) - Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。
我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文 参考訳(メタデータ) (2020-12-30T20:40:48Z) - Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。
この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文 参考訳(メタデータ) (2020-06-22T21:56:14Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。