Fugu-MT 論文翻訳(概要): QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation system based on ensemble of language model

論文の概要: QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation system based on ensemble of language model

arxiv url: http://arxiv.org/abs/2009.02645v1
Date: Sun, 6 Sep 2020 05:12:50 GMT
ステータス: 処理完了
システム内更新日: 2022-10-21 08:05:26.628804
Title: QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation system based on ensemble of language model
Title（参考訳）: semeval-2020タスク4 : 言語モデルのアンサンブルに基づくコモンセンス検証と説明システム
Authors: Pai Liu
Abstract要約: 本稿では,SemEval-2020 Task 4コンペティションに提出された言語モデルシステムについて述べる。我々は、事前訓練された言語モデル(BERT、XLNet、RoBERTa、ALBERT)を用いて転送学習を行い、このタスクでそれらを微調整した。アンサンブルされたモデルはこの問題をよりよく解決し、モデルの精度はサブタスクAで95.9%に達した。
参考スコア（独自算出の注目度）: 2.728575246952532
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we present language model system submitted to SemEval-2020 Task 4 competition: "Commonsense Validation and Explanation". We participate in two subtasks for subtask A: validation and subtask B: Explanation. We implemented with transfer learning using pretrained language models (BERT, XLNet, RoBERTa, and ALBERT) and fine-tune them on this task. Then we compared their characteristics in this task to help future researchers understand and use these models more properly. The ensembled model better solves this problem, making the model's accuracy reached 95.9% on subtask A, which just worse than human's by only 3% accuracy.
Abstract（参考訳）: 本稿では,semeval-2020タスク4コンペティションに提出された言語モデルシステム「共通性検証と説明」を提案する。サブタスクA:検証とサブタスクB:説明の2つのサブタスクに参加する。我々は、事前訓練された言語モデル(BERT、XLNet、RoBERTa、ALBERT)を用いて転送学習を行い、このタスクでそれらを微調整した。そして、これらの特徴を比較して、将来の研究者がこれらのモデルをより適切に理解し、使用できるようにする。アンサンブルされたモデルはこの問題をよりよく解決し、モデルの精度はサブタスクAで95.9%に達した。

関連論文リスト

The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
論文参考訳（メタデータ） (2024-11-11T18:59:45Z)
Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
論文参考訳（メタデータ） (2023-09-23T01:52:14Z)
Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
本研究では,実環境における職種分類の課題について検討する。目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
論文参考訳（メタデータ） (2023-03-13T14:09:53Z)
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文参考訳（メタデータ） (2021-11-18T06:48:00Z)
ZJUKLAB at SemEval-2021 Task 4: Negative Augmentation with Language Model for Reading Comprehension of Abstract Meaning [16.151203366447962]
モデル学習に使用されるアルゴリズムとアルゴリズムをチューニングし、最良のモデルを選択するプロセスについて説明する。 ReCAMタスクと言語事前学習の類似性から着想を得て,言語モデルによる否定的拡張という,シンプルで効果的な技術を提案する。我々のモデルは、それぞれ87.9%の精度と92.8%の精度で、Subtask 1とSubtask 2の2つの公式テストセットで4位に達した。
論文参考訳（メタデータ） (2021-02-25T13:03:05Z)
LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
論文参考訳（メタデータ） (2021-02-24T12:33:12Z)
When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data [84.87772675171412]
個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。 e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
論文参考訳（メタデータ） (2021-02-03T18:57:08Z)
BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense [1.433758865948252]
本稿では,SemEval 2020 Task 4 - Commonsense Validation and ExplanationにおけるBUT-FITチームの作業について述べる。サブタスクAとBでは、事前訓練された言語表現モデル(ALBERT)とデータ拡張に基づいている。我々は、多言語モデルと機械翻訳データセットを用いて、別の言語であるチェコ語のタスクを解く実験を行った。強い機械翻訳システムでは, 精度の低下を少なく抑えながら, 他言語で使用することができることを示す。
論文参考訳（メタデータ） (2020-08-17T12:45:39Z)
LMVE at SemEval-2020 Task 4: Commonsense Validation and Explanation using Pretraining Language Model [5.428461405329692]
本稿では,SemEval-2020 Task 4のサブタスクa,bへの提出について述べる。サブタスク a では、ALBERT ベースのモデルを用いて2つの文候補から共通感覚文を抽出する。サブタスクbでは、ヒント文機構によって強化された多重選択モデルを用いて、文が常識に反する理由を与えられた選択肢から選択する。
論文参考訳（メタデータ） (2020-07-06T05:51:10Z)
KaLM at SemEval-2020 Task 4: Knowledge-aware Language Models for Comprehension And Generation [4.94950858749529]
本稿では,3つのサブタスクのバックボーンとして,エビデンスを探索し,様々な大規模事前学習モデルを選択する方法を提案する。その結果,エビデンス調査手法により,コモンセンス説明課題におけるモデル性能が向上することが示唆された。
論文参考訳（メタデータ） (2020-05-24T15:09:21Z)
Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection [55.445023584632175]
我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
論文参考訳（メタデータ） (2020-04-28T11:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。