論文の概要: IIE-NLP-Eyas at SemEval-2021 Task 4: Enhancing PLM for ReCAM with Special Tokens, Re-Ranking, Siamese Encoders and Back Translation

• arxiv url: http://arxiv.org/abs/2102.12777v1
• Date: Thu, 25 Feb 2021 10:51:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-27 09:35:09.092028
• Title: IIE-NLP-Eyas at SemEval-2021 Task 4: Enhancing PLM for ReCAM with Special Tokens, Re-Ranking, Siamese Encoders and Back Translation
• Title（参考訳）: IIE-NLP-Eyas at SemEval-2021 Task 4: PLM for ReCAM with Special Tokens, Re-Ranking, Siamese Encoders and Back Translation
• Authors: Yuqiang Xie, Luxi Xing, Wei Peng, Yue Hu
• Abstract要約: 本稿では,SemEval-2021 Task 4: Reading of Abstract Meaningの3つのサブタスクについて紹介する。 バックボーンモデル(RoBERTa)に適応した多くの単純かつ効果的なアプローチをうまく設計する。 実験結果から,本手法はベースラインシステムと比較して高い性能を示した。
• 参考スコア（独自算出の注目度）: 8.971288666318719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces our systems for all three subtasks of SemEval-2021 Task 4: Reading Comprehension of Abstract Meaning. To help our model better represent and understand abstract concepts in natural language, we well-design many simple and effective approaches adapted to the backbone model (RoBERTa). Specifically, we formalize the subtasks into the multiple-choice question answering format and add special tokens to abstract concepts, then, the final prediction of question answering is considered as the result of subtasks. Additionally, we employ many finetuning tricks to improve the performance. Experimental results show that our approaches achieve significant performance compared with the baseline systems. Our approaches achieve eighth rank on subtask-1 and tenth rank on subtask-2.
• Abstract（参考訳）: 本稿では,SemEval-2021 Task 4: Reading Comprehension of Abstract Meaningの3つのサブタスクについて紹介する。 自然言語における抽象概念をよりよく表現し理解するために,バックボーンモデル(RoBERTa)に適応したシンプルで効果的なアプローチを多数設計する。 具体的には、サブタスクを複数選択の質問応答形式に形式化し、抽象概念に特別なトークンを追加し、質問応答の最終予測をサブタスクの結果として考慮します。 さらに、パフォーマンスを改善するために多くの微調整のトリックを使用します。 実験結果から,本手法はベースラインシステムと比較して高い性能を示した。 提案手法は,subtask-1では8位,subtask-2では10位を達成する。

関連論文リスト

• Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
  このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。 最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
  論文  参考訳（メタデータ） (2023-02-18T09:26:35Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Instruction Tuning for Few-Shot Aspect-Based Sentiment Analysis [72.9124467710526]
  生成的アプローチは、テキストから(1つ以上の)4つの要素を1つのタスクとして抽出するために提案されている。 本稿では,ABSAを解くための統一的なフレームワークと,それに関連するサブタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-12T23:38:57Z)
• COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization [84.70895015194188]
  コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。 COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
  論文  参考訳（メタデータ） (2022-09-29T06:11:21Z)
• SemEval-2021 Task 4: Reading Comprehension of Abstract Meaning [47.49596196559958]
  本稿では,SemEval-2021共有タスクについて紹介する。4: Reading of Abstract Meaning (ReCAM)。 パスとそれに対応する質問が与えられた場合、参加者システムは、抽象概念の5つの候補から正しい回答を選択することが期待される。 Subtask 1は、物理的な世界で直接認識できない概念を、システムがいかにうまくモデル化できるかを評価することを目的としている。 Subtask 2は、ハイパーニム階層にある非特異な概念を解釈するモデルの能力に焦点を当てている。 Subtask 3は、2種類の抽象性に対するモデルの一般化可能性に関する洞察を提供することを目的としている。
  論文  参考訳（メタデータ） (2021-05-31T11:04:17Z)
• ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction [2.482368922343792]
  トレーニング済みのマスク付き言語モデルであるBERTとALBERTを微調整した。 複数のアプローチを試したところ、Masked Language Modeling(MLM)ベースのアプローチが最もうまくいくことがわかった。
  論文  参考訳（メタデータ） (2021-04-04T08:22:19Z)
• XRJL-HKUST at SemEval-2021 Task 4: WordNet-Enhanced Dual Multi-head Co-Attention for Reading Comprehension of Abstract Meaning [6.55600662108243]
  本稿では,SemEval 2021 Task 4: Reading of Abstract Meaningに提出したシステムについて述べる。 本システムでは,エンコーダとして大規模な事前学習型言語モデルと,パスと質問応答ペアの関係性を高めるために,二重多頭部協調層を用いる。 本システムは,WordNet-enhanced DUal Multi-head Co-Attention (WN-DUMA) と呼ばれ,それぞれ86.67%,89.99%の精度を達成している。
  論文  参考訳（メタデータ） (2021-03-30T06:22:58Z)
• ZJUKLAB at SemEval-2021 Task 4: Negative Augmentation with Language Model for Reading Comprehension of Abstract Meaning [16.151203366447962]
  モデル学習に使用されるアルゴリズムとアルゴリズムをチューニングし、最良のモデルを選択するプロセスについて説明する。 ReCAMタスクと言語事前学習の類似性から着想を得て,言語モデルによる否定的拡張という,シンプルで効果的な技術を提案する。 我々のモデルは、それぞれ87.9%の精度と92.8%の精度で、Subtask 1とSubtask 2の2つの公式テストセットで4位に達した。
  論文  参考訳（メタデータ） (2021-02-25T13:03:05Z)
• IIE-NLP-NUT at SemEval-2020 Task 4: Guiding PLM with Prompt Template Reconstruction Strategy for ComVE [13.334749848189826]
  サブタスクを複数選択の質問応答形式に形式化し、プロンプトテンプレートで入力を構築する。 実験結果から,本手法はベースラインシステムと比較して高い性能を示した。 最初の2つのサブタスクの2つの公式テストセットにおいて、96.4の精度と94.3の精度で第3位を確保した。
  論文  参考訳（メタデータ） (2020-07-02T06:59:53Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。