Fugu-MT 論文翻訳(概要): Extracting Definienda in Mathematical Scholarly Articles with Transformers

論文の概要: Extracting Definienda in Mathematical Scholarly Articles with Transformers

arxiv url: http://arxiv.org/abs/2311.12448v1
Date: Tue, 21 Nov 2023 08:58:57 GMT
ステータス: 処理完了
システム内更新日: 2023-11-23 01:33:19.442702
Title: Extracting Definienda in Mathematical Scholarly Articles with Transformers
Title（参考訳）: 変圧器を用いた数理学術論文におけるデフィニエンダの抽出
Authors: Shufan Jiang (VALDA), Pierre Senellart (DI-ENS, VALDA)
Abstract要約: 学術論文のテキストから数学的定義の中で定義項を自動的に識別することを検討する。最近の(そして高価な) GPT 4 や、我々のタスクで微調整されたより単純な事前訓練モデルを用いて、高いレベルの精度に到達し、リコールすることが可能である。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider automatically identifying the defined term within a mathematical definition from the text of an academic article. Inspired by the development of transformer-based natural language processing applications, we pose the problem as (a) a token-level classification task using fine-tuned pre-trained transformers; and (b) a question-answering task using a generalist large language model (GPT). We also propose a rule-based approach to build a labeled dataset from the LATEX source of papers. Experimental results show that it is possible to reach high levels of precision and recall using either recent (and expensive) GPT 4 or simpler pre-trained models fine-tuned on our task.
Abstract（参考訳）: 学術論文のテキストから数学的定義の中で定義項を自動的に識別することを検討する。変圧器型自然言語処理アプリケーションの開発に触発され,問題となっている。 (a)微調整予調変圧器を用いたトークンレベル分類課題 (b)汎用大言語モデル(GPT)を用いた質問応答タスク。また,論文のLATEXソースからラベル付きデータセットを構築するためのルールベースのアプローチを提案する。実験結果から,最新の(かつ高価な) GPT 4 あるいはより単純な事前学習モデルを用いて,高い精度でリコールを行うことが可能であることが示唆された。

関連論文リスト

In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
論文参考訳（メタデータ） (2024-08-19T16:47:46Z)
Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
論文参考訳（メタデータ） (2024-02-08T16:23:29Z)
Transformer Based Implementation for Automatic Book Summarization [0.0]
文書要約 (Document Summarization) とは、ある文書の意味的かつ簡潔な要約を生成する手順である。この作業は、抽象生成にTransformerベースのテクニックを使用する試みである。
論文参考訳（メタデータ） (2023-01-17T18:18:51Z)
Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
論文参考訳（メタデータ） (2022-05-02T21:41:14Z)
BERT got a Date: Introducing Transformers to Temporal Tagging [4.651578365545765]
本稿では,RoBERTa言語モデルを用いたトランスフォーマー・エンコーダ・デコーダモデルを提案する。我々のモデルは、特に稀なクラスにおいて、時間的タグ付けや型分類において、過去の研究を上回っている。
論文参考訳（メタデータ） (2021-09-30T08:54:21Z)
Hidden Markov Based Mathematical Model dedicated to Extract Ingredients from Recipe Text [0.0]
POSタグ(Partof-speech tagging)は、注釈付きコーパスを必要とする前処理タスクである。隠れマルコフ構造に基づく数学的モデルを実行し,テキストレシピから抽出した成分の高精度な精度を得た。
論文参考訳（メタデータ） (2021-09-28T14:38:11Z)
Matching with Transformers in MELT [1.2891210250935146]
我々は、オントロジーと知識グラフマッチングに適したMELTフレームワークで簡単に使える実装を提供する。変換器をベースとしたフィルタは,ハイリコールアライメントによって適切な対応を選択するのに役立つことを示す。
論文参考訳（メタデータ） (2021-09-15T16:07:43Z)
Pretrained Transformers as Universal Computation Engines [105.00539596788127]
自然言語で事前学習したトランスフォーマーを,最小限の微調整で他のモダリティに一般化する能力について検討する。本研究では, 数値計算, 視覚, タンパク質折り畳み予測にまたがる様々なシーケンス分類タスクについて, 微調整を行った。このようなプリトレーニングにより、FPTはこれらのモダリティにゼロショットで一般化することができ、これらのタスクで完全に訓練されたトランスのパフォーマンスと一致します。
論文参考訳（メタデータ） (2021-03-09T06:39:56Z)
Teach me how to Label: Labeling Functions from Natural Language with Text-to-text Transformers [0.5330240017302619]
本稿では,自然言語記述をPythonラベリング関数に変換する作業に焦点をあてる。我々は、事前訓練されたテキスト・トゥ・テキスト・トランスフォーマを用いた意味解析の新しいアプローチに従う。我々のアプローチは、自然言語でラベルを付ける方法を教えるモデルへの一歩と見なすことができる。
論文参考訳（メタデータ） (2021-01-18T16:04:15Z)
Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文参考訳（メタデータ） (2020-06-22T21:56:14Z)
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。