論文の概要: UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction

• arxiv url: http://arxiv.org/abs/2009.05603v2
• Date: Wed, 16 Sep 2020 19:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 20:42:41.886826
• Title: UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction
• Title（参考訳）: UPB at SemEval-2020 Task 6: 定義抽出のための事前訓練言語モデル
• Authors: Andrei-Marius Avram, Dumitru-Clementin Cercel, Costin-Gabriel Chiru
• Abstract要約: 本研究はSemEval-2020: Extracting Definitions from Free Text in Textbooksの6番目のタスクの文脈における我々の貢献を示す。 様々な事前訓練された言語モデルを用いて、競技の3つのサブタスクのそれぞれを解決する。 DeftEvalデータセットで評価したベストパフォーマンスモデルは、第1サブタスクの32位、第2サブタスクの37位を得る。
• 参考スコア（独自算出の注目度）: 0.17188280334580194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents our contribution in the context of the 6th task of SemEval-2020: Extracting Definitions from Free Text in Textbooks (DeftEval). This competition consists of three subtasks with different levels of granularity: (1) classification of sentences as definitional or non-definitional,(2) labeling of definitional sentences, and (3) relation classification. We use various pretrained language models (i.e., BERT, XLNet, RoBERTa, SciBERT, and ALBERT) to solve each of the three subtasks of the competition. Specifically, for each language model variant, we experiment by both freezing its weights and fine-tuning them. We also explore a multi-task architecture that was trained to jointly predict the outputs for the second and the third subtasks. Our best performing model evaluated on the DeftEval dataset obtains the 32nd place for the first subtask and the 37th place for the second subtask. The code is available for further research at: https://github.com/avramandrei/DeftEval.
• Abstract（参考訳）: 本研究は,SemEval-2020: Extracting Definitions from Free Text in Textbooks (DeftEval) の6番目のタスクのコンテキストにおける我々の貢献を示す。 このコンペティションは,(1)定義文と非定義文の分類,(2)定義文のラベル付け,(3)関係分類という,粒度が異なる3つのサブタスクから構成される。 我々は、様々な事前訓練された言語モデル(BERT、XLNet、RoBERTa、SciBERT、ALBERT)を使用して、競争の3つのサブタスクのそれぞれを解決する。 具体的には、各言語モデルのバリエーションについて、重み付けと微調整の両方を実験します。 また,第2サブタスクと第3サブタスクのアウトプットを共同で予測するようにトレーニングしたマルチタスクアーキテクチャについても検討した。 DeftEvalデータセットで評価したベストパフォーマンスモデルは、第1サブタスクの32位、第2サブタスクの37位を得る。 詳細はhttps://github.com/avramandrei/defteval.com/で確認できる。

関連論文リスト

• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Zero-Shot Information Extraction as a Unified Text-to-Triple Translation [56.01830747416606]
  我々は、テキストから3つの翻訳フレームワークに一連の情報抽出タスクを投入した。 タスク固有の入力テキストと出力トリプルの変換としてタスクを形式化する。 本稿では,オープン情報抽出におけるゼロショット性能について検討する。
  論文  参考訳（メタデータ） (2021-09-23T06:54:19Z)
• LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
  フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。 マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。 本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
  論文  参考訳（メタデータ） (2021-02-24T12:33:12Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• DSC IIT-ISM at SemEval-2020 Task 6: Boosting BERT with Dependencies for Definition Extraction [9.646922337783133]
  定義抽出における変換器(BERT)からの双方向表現の性能について検討する。 本稿では,BERT と Text Level Graph Convolutional Network の結合モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-17T09:48:59Z)
• BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense [1.433758865948252]
  本稿では,SemEval 2020 Task 4 - Commonsense Validation and ExplanationにおけるBUT-FITチームの作業について述べる。 サブタスクAとBでは、事前訓練された言語表現モデル(ALBERT)とデータ拡張に基づいている。 我々は、多言語モデルと機械翻訳データセットを用いて、別の言語であるチェコ語のタスクを解く実験を行った。 強い機械翻訳システムでは, 精度の低下を少なく抑えながら, 他言語で使用することができることを示す。
  論文  参考訳（メタデータ） (2020-08-17T12:45:39Z)
• BUT-FIT at SemEval-2020 Task 5: Automatic detection of counterfactual statements with deep pre-trained language representation models [6.853018135783218]
  本稿では,BUT-FITによるSemEval-2020 Task 5: Modelling Causal Reasoning in Language: Detecting Counterfactualsについて述べる。 課題は、ある文が偽物を含むかどうかを検出することである。 どちらのサブタスクでも,RoBERTa LRMが最善を尽くすことがわかった。
  論文  参考訳（メタデータ） (2020-07-28T11:16:11Z)
• CS-NLP team at SemEval-2020 Task 4: Evaluation of State-of-the-art NLP Deep Learning Architectures on Commonsense Reasoning Task [3.058685580689605]
  本稿では,SemEval-2020 Task 4 competition: Commonsense Validation and Explanation (ComVE) Challengeについて述べる。 本システムは、3つの異なる自然言語推論サブタスクに対して手動でキュレートされたラベル付きテキストデータセットを使用する。 第2のサブタスクでは、声明が意味をなさない理由を選択するため、27人の参加者のうち、最初の6チーム(93.7%)で非常に競争力のある結果が得られます。
  論文  参考訳（メタデータ） (2020-05-17T13:20:10Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)
• A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
  タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。 その結果,PRALは最先端の手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2020-04-24T09:25:45Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。