論文の概要: QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation
system based on ensemble of language model
- arxiv url: http://arxiv.org/abs/2009.02645v1
- Date: Sun, 6 Sep 2020 05:12:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 08:05:26.628804
- Title: QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation
system based on ensemble of language model
- Title(参考訳): semeval-2020タスク4 : 言語モデルのアンサンブルに基づくコモンセンス検証と説明システム
- Authors: Pai Liu
- Abstract要約: 本稿では,SemEval-2020 Task 4コンペティションに提出された言語モデルシステムについて述べる。
我々は、事前訓練された言語モデル(BERT、XLNet、RoBERTa、ALBERT)を用いて転送学習を行い、このタスクでそれらを微調整した。
アンサンブルされたモデルはこの問題をよりよく解決し、モデルの精度はサブタスクAで95.9%に達した。
- 参考スコア(独自算出の注目度): 2.728575246952532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present language model system submitted to SemEval-2020
Task 4 competition: "Commonsense Validation and Explanation". We participate in
two subtasks for subtask A: validation and subtask B: Explanation. We
implemented with transfer learning using pretrained language models (BERT,
XLNet, RoBERTa, and ALBERT) and fine-tune them on this task. Then we compared
their characteristics in this task to help future researchers understand and
use these models more properly. The ensembled model better solves this problem,
making the model's accuracy reached 95.9% on subtask A, which just worse than
human's by only 3% accuracy.
- Abstract(参考訳): 本稿では,semeval-2020タスク4コンペティションに提出された言語モデルシステム「共通性検証と説明」を提案する。
サブタスクA:検証とサブタスクB:説明の2つのサブタスクに参加する。
我々は、事前訓練された言語モデル(BERT、XLNet、RoBERTa、ALBERT)を用いて転送学習を行い、このタスクでそれらを微調整した。
そして、これらの特徴を比較して、将来の研究者がこれらのモデルをより適切に理解し、使用できるようにする。
アンサンブルされたモデルはこの問題をよりよく解決し、モデルの精度はサブタスクAで95.9%に達した。
関連論文リスト
- The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。
TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。
本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
論文 参考訳(メタデータ) (2024-11-11T18:59:45Z) - Unify word-level and span-level tasks: NJUNLP's Participation for the
WMT2023 Quality Estimation Shared Task [59.46906545506715]
我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。
私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。
我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
論文 参考訳(メタデータ) (2023-09-23T01:52:14Z) - Large Language Models in the Workplace: A Case Study on Prompt
Engineering for Job Type Classification [58.720142291102135]
本研究では,実環境における職種分類の課題について検討する。
目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
論文 参考訳(メタデータ) (2023-03-13T14:09:53Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳(メタデータ) (2021-11-18T06:48:00Z) - ZJUKLAB at SemEval-2021 Task 4: Negative Augmentation with Language
Model for Reading Comprehension of Abstract Meaning [16.151203366447962]
モデル学習に使用されるアルゴリズムとアルゴリズムをチューニングし、最良のモデルを選択するプロセスについて説明する。
ReCAMタスクと言語事前学習の類似性から着想を得て,言語モデルによる否定的拡張という,シンプルで効果的な技術を提案する。
我々のモデルは、それぞれ87.9%の精度と92.8%の精度で、Subtask 1とSubtask 2の2つの公式テストセットで4位に達した。
論文 参考訳(メタデータ) (2021-02-25T13:03:05Z) - LRG at SemEval-2021 Task 4: Improving Reading Comprehension with
Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。
マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。
本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
論文 参考訳(メタデータ) (2021-02-24T12:33:12Z) - When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data [84.87772675171412]
個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。
e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
論文 参考訳(メタデータ) (2021-02-03T18:57:08Z) - BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense [1.433758865948252]
本稿では,SemEval 2020 Task 4 - Commonsense Validation and ExplanationにおけるBUT-FITチームの作業について述べる。
サブタスクAとBでは、事前訓練された言語表現モデル(ALBERT)とデータ拡張に基づいている。
我々は、多言語モデルと機械翻訳データセットを用いて、別の言語であるチェコ語のタスクを解く実験を行った。
強い機械翻訳システムでは, 精度の低下を少なく抑えながら, 他言語で使用することができることを示す。
論文 参考訳(メタデータ) (2020-08-17T12:45:39Z) - LMVE at SemEval-2020 Task 4: Commonsense Validation and Explanation
using Pretraining Language Model [5.428461405329692]
本稿では,SemEval-2020 Task 4のサブタスクa,bへの提出について述べる。
サブタスク a では、ALBERT ベースのモデルを用いて2つの文候補から共通感覚文を抽出する。
サブタスクbでは、ヒント文機構によって強化された多重選択モデルを用いて、文が常識に反する理由を与えられた選択肢から選択する。
論文 参考訳(メタデータ) (2020-07-06T05:51:10Z) - KaLM at SemEval-2020 Task 4: Knowledge-aware Language Models for
Comprehension And Generation [4.94950858749529]
本稿では,3つのサブタスクのバックボーンとして,エビデンスを探索し,様々な大規模事前学習モデルを選択する方法を提案する。
その結果,エビデンス調査手法により,コモンセンス説明課題におけるモデル性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-05-24T15:09:21Z) - Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for
Offensive Language Detection [55.445023584632175]
我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。
我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
論文 参考訳(メタデータ) (2020-04-28T11:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。