Fugu-MT 論文翻訳(概要): ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction

論文の概要: ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction

arxiv url: http://arxiv.org/abs/2104.01563v1
Date: Sun, 4 Apr 2021 08:22:19 GMT
ステータス: 処理完了
システム内更新日: 2021-04-06 14:55:57.820553
Title: ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction
Title（参考訳）: ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction (英語)
Authors: Abhishek Mittal, Ashutosh Modi
Abstract要約: トレーニング済みのマスク付き言語モデルであるBERTとALBERTを微調整した。複数のアプローチを試したところ、Masked Language Modeling(MLM)ベースのアプローチが最もうまくいくことがわかった。
参考スコア（独自算出の注目度）: 2.482368922343792
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper describes our system for Task 4 of SemEval-2021: Reading Comprehension of Abstract Meaning (ReCAM). We participated in all subtasks where the main goal was to predict an abstract word missing from a statement. We fine-tuned the pre-trained masked language models namely BERT and ALBERT and used an Ensemble of these as our submitted system on Subtask 1 (ReCAM-Imperceptibility) and Subtask 2 (ReCAM-Nonspecificity). For Subtask 3 (ReCAM-Intersection), we submitted the ALBERT model as it gives the best results. We tried multiple approaches and found that Masked Language Modeling(MLM) based approach works the best.
Abstract（参考訳）: 本稿では,SemEval-2021: Reading Comprehension of Abstract Meaning (ReCAM)のタスク4について述べる。私たちは、文から欠落した抽象語を予測することを主な目標とした全てのサブタスクに参加しました。本研究では,既存のマスク付き言語モデルであるBERTとALBERTを微調整し,Subtask 1 (ReCAM-Imperceptibility) とSubtask 2 (ReCAM-Nonspecificity) を用いた。 Subtask 3 (ReCAM-Intersection) では, ALBERT モデルを用いて最適な結果を得た。複数のアプローチを試したところ、Masked Language Modeling(MLM)ベースのアプローチがベストであることがわかった。

関連論文リスト

Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文参考訳（メタデータ） (2024-02-28T16:35:52Z)
Multitask Multimodal Prompted Training for Interactive Embodied Task Completion [48.69347134411864]
Embodied MultiModal Agent (EMMA) はエンコーダとデコーダの統一モデルである。すべてのタスクをテキスト生成として統一することで、EMMAはタスク間の転送を容易にするアクション言語を学ぶ。
論文参考訳（メタデータ） (2023-11-07T15:27:52Z)
Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文参考訳（メタデータ） (2022-10-04T00:49:20Z)
BLCU-ICALL at SemEval-2022 Task 1: Cross-Attention Multitasking Framework for Definition Modeling [16.794041736487323]
本稿では,SemEval-2022 Task 1で使用されるBLCU-ICALLシステムについて述べる。タスクを探索するトランスフォーマーベースのマルチタスクフレームワークを提案する。
論文参考訳（メタデータ） (2022-04-16T02:33:28Z)
A Variational Hierarchical Model for Neural Cross-Lingual Summarization [85.44969140204026]
言語間の要約(英: cross-lingual summarization)とは、ある言語の文書を別の言語の要約に変換することである。 CLSに関する既存の研究は主にパイプライン手法の利用やエンドツーエンドモデルの共同トレーニングに重点を置いている。条件付き変分自動エンコーダに基づくCLSタスクの階層モデルを提案する。
論文参考訳（メタデータ） (2022-03-08T02:46:11Z)
ZJUKLAB at SemEval-2021 Task 4: Negative Augmentation with Language Model for Reading Comprehension of Abstract Meaning [16.151203366447962]
モデル学習に使用されるアルゴリズムとアルゴリズムをチューニングし、最良のモデルを選択するプロセスについて説明する。 ReCAMタスクと言語事前学習の類似性から着想を得て,言語モデルによる否定的拡張という,シンプルで効果的な技術を提案する。我々のモデルは、それぞれ87.9%の精度と92.8%の精度で、Subtask 1とSubtask 2の2つの公式テストセットで4位に達した。
論文参考訳（メタデータ） (2021-02-25T13:03:05Z)
IIE-NLP-Eyas at SemEval-2021 Task 4: Enhancing PLM for ReCAM with Special Tokens, Re-Ranking, Siamese Encoders and Back Translation [8.971288666318719]
本稿では,SemEval-2021 Task 4: Reading of Abstract Meaningの3つのサブタスクについて紹介する。バックボーンモデル(RoBERTa)に適応した多くの単純かつ効果的なアプローチをうまく設計する。実験結果から,本手法はベースラインシステムと比較して高い性能を示した。
論文参考訳（メタデータ） (2021-02-25T10:51:48Z)
LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
論文参考訳（メタデータ） (2021-02-24T12:33:12Z)
BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense [1.433758865948252]
本稿では,SemEval 2020 Task 4 - Commonsense Validation and ExplanationにおけるBUT-FITチームの作業について述べる。サブタスクAとBでは、事前訓練された言語表現モデル(ALBERT)とデータ拡張に基づいている。我々は、多言語モデルと機械翻訳データセットを用いて、別の言語であるチェコ語のタスクを解く実験を行った。強い機械翻訳システムでは, 精度の低下を少なく抑えながら, 他言語で使用することができることを示す。
論文参考訳（メタデータ） (2020-08-17T12:45:39Z)
Pre-training via Paraphrasing [96.79972492585112]
教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
論文参考訳（メタデータ） (2020-06-26T14:43:43Z)
Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
論文参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。