Fugu-MT 論文翻訳(概要): Fine-Tuning BERTs for Definition Extraction from Mathematical Text

論文の概要: Fine-Tuning BERTs for Definition Extraction from Mathematical Text

arxiv url: http://arxiv.org/abs/2406.13827v2
Date: Thu, 27 Jun 2024 22:31:07 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 19:11:01.300912
Title: Fine-Tuning BERTs for Definition Extraction from Mathematical Text
Title（参考訳）: 数学テキストからの定義抽出のための細調整BERT
Authors: Lucy Horowitz, Ryan Hathaway,
Abstract要約: 定義抽出」を課題とした3つの事前学習BERTモデルを微調整した。これは二項分類問題として示され、文が数学的項の定義を含むか、そうでないかのいずれかである。その結果,高性能なSentence-BERTトランスモデルが全体の精度,リコール,精度の指標に基づいて最適に動作していることが判明した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In this paper, we fine-tuned three pre-trained BERT models on the task of "definition extraction" from mathematical English written in LaTeX. This is presented as a binary classification problem, where either a sentence contains a definition of a mathematical term or it does not. We used two original data sets, "Chicago" and "TAC," to fine-tune and test these models. We also tested on WFMALL, a dataset presented by Vanetik and Litvak in 2021 and compared the performance of our models to theirs. We found that a high-performance Sentence-BERT transformer model performed best based on overall accuracy, recall, and precision metrics, achieving comparable results to the earlier models with less computational effort.
Abstract（参考訳）: 本稿では,LaTeXで書かれた数学英語から「定義抽出」を行うために,事前学習した3つのBERTモデルを微調整した。これは二項分類問題として示され、文が数学的項の定義を含むか、そうでないかのいずれかである。私たちは、これらのモデルを微調整してテストするために、2つのオリジナルのデータセットである"Chicago"と"TAC"を使用しました。また、2021年にVanetikとLitvakが発表したデータセットであるWFMALLもテストしました。その結果,高性能のSentence-BERT変換器モデルでは,全体の精度,リコール,精度を最良に評価し,計算労力の少ない先行モデルに匹敵する結果が得られた。

関連論文リスト

Extracting Definienda in Mathematical Scholarly Articles with Transformers [0.0]
学術論文のテキストから数学的定義の中で定義項を自動的に識別することを検討する。最近の(そして高価な) GPT 4 や、我々のタスクで微調整されたより単純な事前訓練モデルを用いて、高いレベルの精度に到達し、リコールすることが可能である。
論文参考訳（メタデータ） (2023-11-21T08:58:57Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文参考訳（メタデータ） (2023-06-08T15:25:24Z)
Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文参考訳（メタデータ） (2023-02-17T16:20:33Z)
Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文参考訳（メタデータ） (2023-01-22T18:22:55Z)
ArabGlossBERT: Fine-Tuning BERT on Context-Gloss Pairs for WSD [0.0]
本稿では,アラビア語単語センス曖昧化(WSD)のためのBERTモデルについて述べる。ラベル付きアラビア・コンテクスト・グロス・ペアのデータセットを構築した。各ペアはTrueまたはFalseとラベル付けされ、各コンテキストのターゲット語が識別され、注釈が付けられた。
論文参考訳（メタデータ） (2022-05-19T16:47:18Z)
MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
論文参考訳（メタデータ） (2021-08-23T14:28:23Z)
Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文参考訳（メタデータ） (2020-10-12T19:42:25Z)
Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
論文参考訳（メタデータ） (2020-04-04T05:06:26Z)
Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文参考訳（メタデータ） (2020-03-29T14:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。