Fugu-MT 論文翻訳(概要): DSC IIT-ISM at SemEval-2020 Task 6: Boosting BERT with Dependencies for Definition Extraction

論文の概要: DSC IIT-ISM at SemEval-2020 Task 6: Boosting BERT with Dependencies for Definition Extraction

arxiv url: http://arxiv.org/abs/2009.08180v1
Date: Thu, 17 Sep 2020 09:48:59 GMT
ステータス: 処理完了
システム内更新日: 2022-10-17 09:09:58.959249
Title: DSC IIT-ISM at SemEval-2020 Task 6: Boosting BERT with Dependencies for Definition Extraction
Title（参考訳）: DSC IIT-ISM at SemEval-2020 Task 6: Boosting BERT with Dependencies for Definition extract
Authors: Aadarsh Singh, Priyanshu Kumar and Aman Sinha
Abstract要約: 定義抽出における変換器(BERT)からの双方向表現の性能について検討する。本稿では,BERT と Text Level Graph Convolutional Network の結合モデルを提案する。
参考スコア（独自算出の注目度）: 9.646922337783133
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We explore the performance of Bidirectional Encoder Representations from Transformers (BERT) at definition extraction. We further propose a joint model of BERT and Text Level Graph Convolutional Network so as to incorporate dependencies into the model. Our proposed model produces better results than BERT and achieves comparable results to BERT with fine tuned language model in DeftEval (Task 6 of SemEval 2020), a shared task of classifying whether a sentence contains a definition or not (Subtask 1).
Abstract（参考訳）: 定義抽出における変換器(BERT)からの双方向エンコーダ表現の性能について検討する。さらに,BERT と Text Level Graph Convolutional Network の結合モデルを提案する。提案モデルでは,文が定義を含むか否かを分類する共有タスクであるDeftEval(SemEval 2020のタスク6)において,BERTよりも優れた結果が得られ,詳細な調整言語モデルによるBERTに匹敵する結果が得られる(Subtask 1)。

関連論文リスト

Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
論文参考訳（メタデータ） (2021-08-23T14:28:23Z)
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
論文参考訳（メタデータ） (2021-01-26T09:14:06Z)
BinaryBERT: Pushing the Limit of BERT Quantization [74.65543496761553]
本稿では、BERT量子化を重み二項化の限界まで押し上げるBinaryBERTを提案する。複雑で不規則な損失環境のため,バイナリBERTは3次学習よりも直接訓練が難しいことが判明した。実験結果から、BinaryBERT は完全精度 BERT ベースと比較して無視できる性能低下を示した。
論文参考訳（メタデータ） (2020-12-31T16:34:54Z)
Dartmouth CS at WNUT-2020 Task 2: Informative COVID-19 Tweet Classification Using BERT [2.1574781022415364]
我々は、WNUT-2020共有タスク2のために開発されたシステムについて説明します。 BERTは自然言語処理タスクのための高性能なモデルです。我々は、BERTを微調整し、その埋め込みとつぶやき固有の特徴を結合することにより、この分類タスクにおけるBERTのパフォーマンスを向上した。
論文参考訳（メタデータ） (2020-12-07T07:55:31Z)
UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction [0.17188280334580194]
本研究はSemEval-2020: Extracting Definitions from Free Text in Textbooksの6番目のタスクの文脈における我々の貢献を示す。様々な事前訓練された言語モデルを用いて、競技の3つのサブタスクのそれぞれを解決する。 DeftEvalデータセットで評価したベストパフォーマンスモデルは、第1サブタスクの32位、第2サブタスクの37位を得る。
論文参考訳（メタデータ） (2020-09-11T18:36:22Z)
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction [134.5580003327839]
本稿では、文書レベルでコンテキストをモデル化するための生成トランスフォーマーベースのエンコーダデコーダフレームワーク(GRIT)を紹介する。我々は,MUC-4データセットに対する我々のアプローチを評価し,我々のモデルが先行作業よりもかなり優れていることを示す。
論文参考訳（メタデータ） (2020-08-21T01:07:36Z)
ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
論文参考訳（メタデータ） (2020-08-06T07:43:19Z)
Yseop at SemEval-2020 Task 5: Cascaded BERT Language Model for Counterfactual Statement Analysis [0.0]
我々は、分類タスクにBERTベースモデルを使用し、シーケンス識別タスクを処理するために、ハイブリッドBERTマルチ層パーセプトロンシステムを構築した。本実験により, 構文的・意味的特徴の導入は, 分類タスクにおけるシステム改善にはほとんど寄与しないが, それらの特徴を線形入力として用いて, モデルのシーケンス決定能力を微調整することにより, 2次タスクにおいてBiLSTM-CRFのような他の類似の複雑なシステムよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-18T08:19:18Z)
BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。