論文の概要: XRJL-HKUST at SemEval-2021 Task 4: WordNet-Enhanced Dual Multi-head
Co-Attention for Reading Comprehension of Abstract Meaning
- arxiv url: http://arxiv.org/abs/2103.16102v1
- Date: Tue, 30 Mar 2021 06:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 02:23:14.293919
- Title: XRJL-HKUST at SemEval-2021 Task 4: WordNet-Enhanced Dual Multi-head
Co-Attention for Reading Comprehension of Abstract Meaning
- Title（参考訳）: XRJL-HKUST at SemEval-2021 Task 4: WordNet-Enhanced Dual Multi-head Co-Attention for Reading Comprehension of Abstract Meaning
- Authors: Yuxin Jiang, Ziyi Shou, Qijun Wang, Hao Wu and Fangzhen Lin
- Abstract要約: 本稿では,SemEval 2021 Task 4: Reading of Abstract Meaningに提出したシステムについて述べる。
本システムでは,エンコーダとして大規模な事前学習型言語モデルと,パスと質問応答ペアの関係性を高めるために,二重多頭部協調層を用いる。
本システムは,WordNet-enhanced DUal Multi-head Co-Attention (WN-DUMA) と呼ばれ,それぞれ86.67%,89.99%の精度を達成している。
- 参考スコア（独自算出の注目度）: 6.55600662108243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents our submitted system to SemEval 2021 Task 4: Reading
Comprehension of Abstract Meaning. Our system uses a large pre-trained language
model as the encoder and an additional dual multi-head co-attention layer to
strengthen the relationship between passages and question-answer pairs,
following the current state-of-the-art model DUMA. The main difference is that
we stack the passage-question and question-passage attention modules instead of
calculating parallelly to simulate re-considering process. We also add a layer
normalization module to improve the performance of our model. Furthermore, to
incorporate our known knowledge about abstract concepts, we retrieve the
definitions of candidate answers from WordNet and feed them to the model as
extra inputs. Our system, called WordNet-enhanced DUal Multi-head Co-Attention
(WN-DUMA), achieves 86.67% and 89.99% accuracy on the official blind test set
of subtask 1 and subtask 2 respectively.
- Abstract（参考訳）: 本稿では,SemEval 2021 Task 4: Reading Comprehension of Abstract Meaningについて述べる。
本システムでは,エンコーダとして大規模な事前学習型言語モデルと,現行の最先端モデルDUMAに倣って,パスと質問応答ペアの関係を強化するための二重多頭部協調層を用いる。
主な違いは、再考プロセスをシミュレートするために並列に計算する代わりに、パスクエストと質問パスアテンションモジュールを積み重ねることである。
モデルの性能を改善するために、レイヤの正規化モジュールも追加します。
さらに、抽象概念に関する既知の知識を取り入れるために、wordnetから候補回答の定義を取得し、追加の入力としてモデルに与えます。
本システムは,WordNet-enhanced DUal Multi-head Co-Attention (WN-DUMA) と呼ばれ,それぞれ86.67%,89.99%の精度を達成している。
関連論文リスト
- Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳（メタデータ） (2023-12-22T14:40:55Z) - Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-22T08:06:22Z) - DOMINO: A Dual-System for Multi-step Visual Language Reasoning [76.69157235928594]
視覚情報抽出のための「System-1」ステップと、意図的な推論のための「System-2」ステップからなる多段階マルチモーダル推論のためのデュアルシステムを提案する。
事前学習した System-2 モジュールを用いた本手法は, 配当データと配当データの先行処理と比較して, 競合的に動作する。
論文 参考訳（メタデータ） (2023-10-04T13:29:47Z) - MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks [59.09343552273045]
本稿では,これらの異なる視覚言語タスクの協調学習に驚くほど有効であるマルチモーダルタスクのためのデコーダのみのモデルを提案する。
これらの多様な目的の合同学習は単純で効果的であり、これらのタスク間でのモデルの重量共有を最大化することを示した。
我々のモデルは,画像テキストとテキスト画像検索,ビデオ質問応答,オープン語彙検出タスクにおける技術の現状を達成し,より大きく,より広範囲に訓練された基礎モデルよりも優れている。
論文 参考訳（メタデータ） (2023-03-29T16:42:30Z) - Neural Coreference Resolution based on Reinforcement Learning [53.73316523766183]
コアレゾリューションシステムは2つのサブタスクを解決する必要がある。
ひとつのタスクは、潜在的な言及のすべてを検出することであり、もう1つは、可能な言及ごとに前者のリンクを学習することである。
本稿では,アクターをベースとした強化学習型ニューラルコア参照分解システムを提案する。
論文 参考訳（メタデータ） (2022-12-18T07:36:35Z) - JOIST: A Joint Speech and Text Streaming Model For ASR [63.15848310748753]
JOISTは、音声テキストのペア入力とテキストのみのアンペア入力の両方で、ストリーミング、カスケード、エンコーダエンドツーエンド(E2E)モデルを訓練するアルゴリズムである。
JOISTの最良のテキスト表現は、テキストで訓練されていないモデルと比較して、様々な検索およびレアワードテストセットのWERを4-14%改善することがわかった。
論文 参考訳（メタデータ） (2022-10-13T20:59:22Z) - MoCA: Incorporating Multi-stage Domain Pretraining and Cross-guided
Multimodal Attention for Textbook Question Answering [7.367945534481411]
テキスト質問応答タスクに対して,多段階事前学習とマルチモーダルクロスアテンションを取り入れたMoCAという新しいモデルを提案する。
実験結果から,本モデルの精度が2.21%, 2.43%向上し, 検証精度が2.21%, テストスプリットが2.43%向上した。
論文 参考訳（メタデータ） (2021-12-06T07:58:53Z) - OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization
and Robustness for Lexical Complexity Prediction [8.066349353140819]
単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。
モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。
本モデルは,両サブタスクの上位10システムにランクインした。
論文 参考訳（メタデータ） (2021-05-12T09:27:46Z) - IIE-NLP-Eyas at SemEval-2021 Task 4: Enhancing PLM for ReCAM with
Special Tokens, Re-Ranking, Siamese Encoders and Back Translation [8.971288666318719]
本稿では,SemEval-2021 Task 4: Reading of Abstract Meaningの3つのサブタスクについて紹介する。
バックボーンモデル(RoBERTa)に適応した多くの単純かつ効果的なアプローチをうまく設計する。
実験結果から,本手法はベースラインシステムと比較して高い性能を示した。
論文 参考訳（メタデータ） (2021-02-25T10:51:48Z) - LRG at SemEval-2021 Task 4: Improving Reading Comprehension with
Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。
マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。
本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
論文 参考訳（メタデータ） (2021-02-24T12:33:12Z) - Hierarchical Multi Task Learning with Subword Contextual Embeddings for
Languages with Rich Morphology [5.5217350574838875]
自然言語処理(NLP)における多くのシーケンスラベリングタスクにおける形態情報の重要性
本研究では, 単語文脈埋め込みを用いて, 豊富な形態素を持つ言語に対する形態情報を取得することを提案する。
我々のモデルは、トルコ語の両方のタスクにおける過去の最先端モデルよりも優れています。
論文 参考訳（メタデータ） (2020-04-25T22:55:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。