論文の概要: Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA

• arxiv url: http://arxiv.org/abs/2009.08257v1
• Date: Thu, 17 Sep 2020 13:00:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 08:26:57.233538
• Title: Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA
• Title（参考訳）: RoBERTa, BERT, DistilBERTの組成と語彙的意味論:CoQAを例として
• Authors: Ieva Stali\=unait\.e and Ignacio Iacobacci
• Abstract要約: 本稿では,会話質問応答タスクの文脈における言語モデルによる言語現象の種類について検討する。 システム的誤り解析により, 微調整されたRoBERTa, BERT, DistilBERTモデルの問題領域を同定する。 マルチタスク学習によって関連する言語知識が強化されると、モデルの性能が向上する。
• 参考スコア（独自算出の注目度）: 18.79544158482186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many NLP tasks have benefited from transferring knowledge from contextualized word embeddings, however the picture of what type of knowledge is transferred is incomplete. This paper studies the types of linguistic phenomena accounted for by language models in the context of a Conversational Question Answering (CoQA) task. We identify the problematic areas for the finetuned RoBERTa, BERT and DistilBERT models through systematic error analysis - basic arithmetic (counting phrases), compositional semantics (negation and Semantic Role Labeling), and lexical semantics (surprisal and antonymy). When enhanced with the relevant linguistic knowledge through multitask learning, the models improve in performance. Ensembles of the enhanced models yield a boost between 2.2 and 2.7 points in F1 score overall, and up to 42.1 points in F1 on the hardest question classes. The results show differences in ability to represent compositional and lexical information between RoBERTa, BERT and DistilBERT.
• Abstract（参考訳）: 多くのNLPタスクは、文脈化された単語埋め込みから知識を伝達することの恩恵を受けているが、どのような種類の知識が転送されるかは不完全である。 本稿では,会話質問回答(CoQA)タスクの文脈における言語モデルによる言語現象の種類について検討する。 本稿では,基本演算(フレーズ数),構成意味論(ネゲーションとセマンティックロールラベル),語彙意味論(サプライサルとアンタニミー)などを用いて,微調整されたRoBERTa,BERT,DistilBERTモデルの問題領域を同定する。 マルチタスク学習によって言語知識が強化されると、モデルの性能が向上する。 強化されたモデルのアンサンブルは、F1スコア全体で2.2から2.7ポイント、最も難しい質問クラスでは42.1ポイントまで上昇する。 その結果,RoBERTa,BERT,DistilBERTの合成情報と語彙情報の表現能力の差異が認められた。

関連論文リスト

• Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs) [0.35069196259739965]
  言語的曖昧さは、自然言語処理(NLP)システムにとって重要な課題である。 近年のChatGPTやGeminiのような教育モデルの成功に触発されて,これらのモデルにおける言語的あいまいさを分析し,議論することを目的とした。
  論文  参考訳（メタデータ） (2024-04-25T14:45:07Z)
• Knowledge Graph Fusion for Language Model Fine-tuning [0.0]
  BERTの微調整段階における知識導入のメリットについて検討する。 既存のK-BERTモデルは、知識グラフから三つ子で文を豊かにするものであり、英語に適応している。 K-BERTに変更された英語は、他の単語ベースの言語にも拡張されている。
  論文  参考訳（メタデータ） (2022-06-21T08:06:22Z)
• Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings [0.0]
  本研究では,意味解析のタスクにおいて,言語モデルと記号意味論の定式化という,言語の意味への最も成功したルートを2つ組み合わせる手法について検討する。 本稿では,事前学習した文脈認識単語の埋め込み(BERTやRoBERTaなど)を解析問題に組み込むことの有用性について検討する。
  論文  参考訳（メタデータ） (2022-06-13T15:05:24Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Do Language Models Learn Position-Role Mappings? [1.4548651568912523]
  位置ロールマッピングの知識を示す言語モデル(BERT,RoBERTa,DistilBERT)について検討した。 実験1では、これらのニューラルモデルが、テーマと受け手の役割の区別を実際に認識していることが示される。 実験2では、これらの言語モデルを1つのパラダイムで新しいテーマや受信者のようなトークンで微調整することで、モデルが他のパラダイムにおけるそれらの配置について正しい予測をすることができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T02:50:53Z)
• Shaking Syntactic Trees on the Sesame Street: Multilingual Probing with Controllable Perturbations [2.041108289731398]
  近年の研究では、テキスト摂動の概念を中心とした新しい実験分野が採用されている。 近年の研究では、シャッフル語順がトランスフォーマーベースの言語モデルの下流性能にほとんど影響しないことが明らかになっている。
  論文  参考訳（メタデータ） (2021-09-28T20:15:29Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。