論文の概要: NLP-IIS@UT at SemEval-2021 Task 4: Machine Reading Comprehension using the Long Document Transformer

• arxiv url: http://arxiv.org/abs/2105.03775v1
• Date: Sat, 8 May 2021 20:48:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:10:07.858680
• Title: NLP-IIS@UT at SemEval-2021 Task 4: Machine Reading Comprehension using the Long Document Transformer
• Title（参考訳）: NLP-IIS@UT at SemEval-2021 Task 4: Long Document Transformer を用いた機械読解
• Authors: Hossein Basafa, Sajad Movahedi, Ali Ebrahimi, Azadeh Shakery and Heshaam Faili
• Abstract要約: 本稿では,SemEval-2021の4番目の課題である"Reading of Abstract Meaning"に関する技術的報告を紹介する。 このタスクでは、コンテキストが与えられた質問に基づいて正しい答えを予測します。 この問題に対処するために、Longformerモデルを使い、シーケンスをよりよく処理しました。
• 参考スコア（独自算出の注目度）: 8.645929825516816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a technical report of our submission to the 4th task of SemEval-2021, titled: Reading Comprehension of Abstract Meaning. In this task, we want to predict the correct answer based on a question given a context. Usually, contexts are very lengthy and require a large receptive field from the model. Thus, common contextualized language models like BERT miss fine representation and performance due to the limited capacity of the input tokens. To tackle this problem, we used the Longformer model to better process the sequences. Furthermore, we utilized the method proposed in the Longformer benchmark on Wikihop dataset which improved the accuracy on our task data from 23.01% and 22.95% achieved by the baselines for subtask 1 and 2, respectively, to 70.30% and 64.38%.
• Abstract（参考訳）: 本稿では,SemEval-2021の4番目の課題である「抽象的意味の理解」に関する技術的報告を紹介する。 このタスクでは、状況に応じた質問に基づいて正しい回答を予測したい。 通常、コンテキストは非常に長く、モデルから大きな受容フィールドを必要とする。 したがって、bertのような一般的なコンテキスト化言語モデルは、入力トークンの容量が限られているため、詳細な表現とパフォーマンスを欠いている。 この問題に対処するために、Longformerモデルを使い、シーケンスをよりよく処理しました。 さらに,wikihopデータセットのlongformerベンチマークで提案する手法を用いて,サブタスク1と2のベースラインで達成したタスクデータの精度を23.01%,22.95%から70.30%,64.38%に改善した。

関連論文リスト

• Improving Embedding Accuracy for Document Retrieval Using Entity Relationship Maps and Model-Aware Contrastive Sampling [0.0]
  APEX-Embedding-7Bは、7ビリオンパラメータデコーダのみのテキスト特徴抽出モデルである。 このアプローチでは2つのトレーニング手法を採用して,現実の焦点を即時的に改善する。 本モデルでは,より長いコンテキスト文書検索タスクに対して,テキスト特徴抽出における最先端の標準を新たに確立する。
  論文  参考訳（メタデータ） (2024-10-08T17:36:48Z)
• Heidelberg-Boston @ SIGTYP 2024 Shared Task: Enhancing Low-Resource Language Analysis With Character-Aware Hierarchical Transformers [2.3020018305241337]
  この研究は、13の歴史的言語に対するPoSタグ、形態的タグ付け、および補題化に焦点を当てている。 我々は、Sunなど(2023年)の階層的トークン化手法を適用し、DeBERTa-V3アーキテクチャの利点と組み合わせる。 私たちのモデルは制約付きサブタスクで1位を獲得し、制約のないタスクの勝者のパフォーマンスレベルにほぼ到達しました。
  論文  参考訳（メタデータ） (2024-05-30T15:23:34Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
  我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。 私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。 我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
  論文  参考訳（メタデータ） (2023-09-23T01:52:14Z)
• Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
  このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。 SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
  論文  参考訳（メタデータ） (2022-12-04T15:36:18Z)
• Zero-Shot Information Extraction as a Unified Text-to-Triple Translation [56.01830747416606]
  我々は、テキストから3つの翻訳フレームワークに一連の情報抽出タスクを投入した。 タスク固有の入力テキストと出力トリプルの変換としてタスクを形式化する。 本稿では,オープン情報抽出におけるゼロショット性能について検討する。
  論文  参考訳（メタデータ） (2021-09-23T06:54:19Z)
• LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
  フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。 マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。 本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
  論文  参考訳（メタデータ） (2021-02-24T12:33:12Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation system based on ensemble of language model [2.728575246952532]
  本稿では,SemEval-2020 Task 4コンペティションに提出された言語モデルシステムについて述べる。 我々は、事前訓練された言語モデル(BERT、XLNet、RoBERTa、ALBERT)を用いて転送学習を行い、このタスクでそれらを微調整した。 アンサンブルされたモデルはこの問題をよりよく解決し、モデルの精度はサブタスクAで95.9%に達した。
  論文  参考訳（メタデータ） (2020-09-06T05:12:50Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。