論文の概要: ZJUKLAB at SemEval-2021 Task 4: Negative Augmentation with Language
Model for Reading Comprehension of Abstract Meaning
- arxiv url: http://arxiv.org/abs/2102.12828v1
- Date: Thu, 25 Feb 2021 13:03:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-26 14:03:59.892531
- Title: ZJUKLAB at SemEval-2021 Task 4: Negative Augmentation with Language
Model for Reading Comprehension of Abstract Meaning
- Title（参考訳）: ZJUKLAB - SemEval-2021 Task 4: Negative Augmentation with Language Model for Reading Comprehension of Abstract Meaning
- Authors: Xin Xie, Xiangnan Chen, Xiang Chen, Yong Wang, Ningyu Zhang, Shumin
Deng, Huajun Chen
- Abstract要約: モデル学習に使用されるアルゴリズムとアルゴリズムをチューニングし、最良のモデルを選択するプロセスについて説明する。
ReCAMタスクと言語事前学習の類似性から着想を得て,言語モデルによる否定的拡張という,シンプルで効果的な技術を提案する。
我々のモデルは、それぞれ87.9%の精度と92.8%の精度で、Subtask 1とSubtask 2の2つの公式テストセットで4位に達した。
- 参考スコア（独自算出の注目度）: 16.151203366447962
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents our systems for the three Subtasks of SemEval Task4:
Reading Comprehension of Abstract Meaning (ReCAM). We explain the algorithms
used to learn our models and the process of tuning the algorithms and selecting
the best model. Inspired by the similarity of the ReCAM task and the language
pre-training, we propose a simple yet effective technology, namely, negative
augmentation with language model. Evaluation results demonstrate the
effectiveness of our proposed approach. Our models achieve the 4th rank on both
official test sets of Subtask 1 and Subtask 2 with an accuracy of 87.9% and an
accuracy of 92.8%, respectively. We further conduct comprehensive model
analysis and observe interesting error cases, which may promote future
researches.
- Abstract（参考訳）: 本稿では,SemEval Task4: Reading Comprehension of Abstract Meaning (ReCAM) の3つのサブタスクについて述べる。
モデル学習に使用されるアルゴリズムとアルゴリズムをチューニングし、最良のモデルを選択するプロセスについて説明する。
ReCAMタスクと言語事前学習の類似性から着想を得て,言語モデルによる否定的拡張という,シンプルで効果的な技術を提案する。
評価結果は,提案手法の有効性を示す。
我々のモデルは、それぞれ87.9%の精度と92.8%の精度で、Subtask 1とSubtask 2の2つの公式テストセットで4位に達した。
さらに包括的モデル解析を行い、興味深いエラー事例を観察し、将来の研究を促進する可能性がある。
関連論文リスト
- The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。
TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。
本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
論文 参考訳（メタデータ） (2024-11-11T18:59:45Z) - Large Language Models in the Workplace: A Case Study on Prompt
Engineering for Job Type Classification [58.720142291102135]
本研究では,実環境における職種分類の課題について検討する。
目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
論文 参考訳（メタデータ） (2023-03-13T14:09:53Z) - Toward Efficient Language Model Pretraining and Downstream Adaptation
via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。
SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
論文 参考訳（メタデータ） (2022-12-04T15:36:18Z) - Effective Cross-Task Transfer Learning for Explainable Natural Language
Inference with T5 [50.574918785575655]
2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。
この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
論文 参考訳（メタデータ） (2022-10-31T13:26:08Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳（メタデータ） (2021-12-20T16:52:35Z) - ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for
Abstract Word Prediction [2.482368922343792]
トレーニング済みのマスク付き言語モデルであるBERTとALBERTを微調整した。
複数のアプローチを試したところ、Masked Language Modeling(MLM)ベースのアプローチが最もうまくいくことがわかった。
論文 参考訳（メタデータ） (2021-04-04T08:22:19Z) - LRG at SemEval-2021 Task 4: Improving Reading Comprehension with
Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。
マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。
本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
論文 参考訳（メタデータ） (2021-02-24T12:33:12Z) - QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation
system based on ensemble of language model [2.728575246952532]
本稿では,SemEval-2020 Task 4コンペティションに提出された言語モデルシステムについて述べる。
我々は、事前訓練された言語モデル(BERT、XLNet、RoBERTa、ALBERT)を用いて転送学習を行い、このタスクでそれらを微調整した。
アンサンブルされたモデルはこの問題をよりよく解決し、モデルの精度はサブタスクAで95.9%に達した。
論文 参考訳（メタデータ） (2020-09-06T05:12:50Z) - BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense [1.433758865948252]
本稿では,SemEval 2020 Task 4 - Commonsense Validation and ExplanationにおけるBUT-FITチームの作業について述べる。
サブタスクAとBでは、事前訓練された言語表現モデル(ALBERT)とデータ拡張に基づいている。
我々は、多言語モデルと機械翻訳データセットを用いて、別の言語であるチェコ語のタスクを解く実験を行った。
強い機械翻訳システムでは, 精度の低下を少なく抑えながら, 他言語で使用することができることを示す。
論文 参考訳（メタデータ） (2020-08-17T12:45:39Z) - KaLM at SemEval-2020 Task 4: Knowledge-aware Language Models for
Comprehension And Generation [4.94950858749529]
本稿では,3つのサブタスクのバックボーンとして,エビデンスを探索し,様々な大規模事前学習モデルを選択する方法を提案する。
その結果,エビデンス調査手法により,コモンセンス説明課題におけるモデル性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-05-24T15:09:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。