Fugu-MT 論文翻訳(概要): The Death of Feature Engineering? BERT with Linguistic Features on SQuAD 2.0

論文の概要: The Death of Feature Engineering? BERT with Linguistic Features on SQuAD 2.0

arxiv url: http://arxiv.org/abs/2404.03184v1
Date: Thu, 4 Apr 2024 03:50:34 GMT
ステータス: 処理完了
システム内更新日: 2024-04-05 15:53:27.711966
Title: The Death of Feature Engineering? BERT with Linguistic Features on SQuAD 2.0
Title（参考訳）: 特徴工学の死? BERTとSQuAD 2.0の言語学的特徴
Authors: Jiawei Li, Yue Zhang,
Abstract要約: BERTと追加の言語的特徴を取り入れたエンドツーエンドの質問応答モデルを開発した。 EMスコアとF1スコアはBERT(base)と比較して2.17と2.14が改善される
参考スコア（独自算出の注目度）: 16.95168095046929
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine reading comprehension is an essential natural language processing task, which takes into a pair of context and query and predicts the corresponding answer to query. In this project, we developed an end-to-end question answering model incorporating BERT and additional linguistic features. We conclude that the BERT base model will be improved by incorporating the features. The EM score and F1 score are improved 2.17 and 2.14 compared with BERT(base). Our best single model reaches EM score 76.55 and F1 score 79.97 in the hidden test set. Our error analysis also shows that the linguistic architecture can help model understand the context better in that it can locate answers that BERT only model predicted "No Answer" wrongly.
Abstract（参考訳）: 機械読解は、コンテキストとクエリのペアを取り込んで、クエリに対する応答を予測する、必須の自然言語処理タスクである。本稿では,BERTと追加言語機能を組み合わせたエンドツーエンドの質問応答モデルを開発した。 BERTのベースモデルは,特徴を取り入れることで改善されると結論付けた。 EMスコアとF1スコアはBERT(base)と比較して2.17と2.14が改善されている。私たちの最高のシングルモデルは、隠れテストセットでEMスコア76.55とF1スコア79.97に到達します。我々の誤り分析は、言語アーキテクチャがコンテキストをよりよく理解するのに役立ち、BERT が "No Answer" を誤って予測した答えを見つけるのに役立ちます。

関連論文リスト

KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
論文参考訳（メタデータ） (2024-05-13T18:26:32Z)
Synthetic Dataset Creation and Fine-Tuning of Transformer Models for Question Answering in Serbian [0.0]
我々は、SQuAD-srという名前の87K以上のサンプルからなるセルビア最大のQAデータセットを作成します。セルビア語でスクリプトの双対性を認めるために、我々はデータセットのキリル文字版とラテン文字版の両方を生成した。最高の結果は、私たちのラテンSQuAD-srデータセット上でBERTi'cモデルを微調整し、73.91%のExact Matchと82.97%のF1スコアを得たことである。
論文参考訳（メタデータ） (2024-04-12T17:27:54Z)
Expanding the Vocabulary of BERT for Knowledge Base Construction [6.412048788884728]
国際セマンティックウェブ会議2023で「事前学習言語モデルによる知識ベース構築」の課題が開催された。私たちの焦点は、パラメータを最大10億に制限する課題のトラック1にありました。本稿では,知識ベース構築のための語彙拡張BERTを提案する。
論文参考訳（メタデータ） (2023-10-12T12:52:46Z)
Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
論文参考訳（メタデータ） (2023-09-23T01:52:14Z)
PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
論文参考訳（メタデータ） (2023-04-24T15:46:26Z)
A Comparative Study of Transformer-Based Language Models on Extractive Question Answering [0.5079811885340514]
事前訓練された言語モデルをトレーニングし、複数の質問応答データセットでそれらを微調整する。 F1スコアを基準として、RoBERTaとBARTが事前トレーニングされたモデルは、すべてのデータセットで最高のパフォーマンスを発揮します。
論文参考訳（メタデータ） (2021-10-07T02:23:19Z)
Learning Better Sentence Representation with Syntax Information [0.0]
構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
論文参考訳（メタデータ） (2021-01-09T12:15:08Z)
FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT [0.5772546394254112]
本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
論文参考訳（メタデータ） (2020-08-22T08:04:21Z)
ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
論文参考訳（メタデータ） (2020-08-06T07:43:19Z)
AMR Parsing via Graph-Sequence Iterative Inference [62.85003739964878]
本稿では,AMR解析を入力シーケンスとインクリメンタルに構築されたグラフ上での2つの決定の連続として扱うエンド・ツー・エンドのモデルを提案する。これら2つの質問に対する回答は相互因果関係であることを示す。我々は、両方の視点でより良い回答を得るのに役立つ反復推論に基づくモデルを設計し、解析精度を大幅に改善する。
論文参考訳（メタデータ） (2020-04-12T09:15:21Z)
A Study on Efficiency, Accuracy and Document Structure for Answer Sentence Selection [112.0514737686492]
本稿では,単語関連エンコーダとともに,原語階の内在的構造を活用すれば,競争的な結果が得られることを論じる。私たちのモデルはWikiQAデータセットでトレーニングするのに9.5秒かかります。
論文参考訳（メタデータ） (2020-03-04T22:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。