論文の概要: A Comparative Study of Transformers on Word Sense Disambiguation

• arxiv url: http://arxiv.org/abs/2111.15417v1
• Date: Tue, 30 Nov 2021 14:10:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 20:01:40.738744
• Title: A Comparative Study of Transformers on Word Sense Disambiguation
• Title（参考訳）: 単語センスの曖昧さに対する変換器の比較検討
• Authors: Avi Chawla and Nidhi Mulay and Vikas Bishnoi and Gaurav Dhama and Dr. Anil Kumar Singh
• Abstract要約: 本稿では,ニューラルネットワークを用いた埋め込みシステムの文脈化能力について比較検討する。 本稿では,2つのWord Sense Disambiguation (WSD)タスクであるSensEval-2とSensEval-3を用いて,その文脈化能力を評価する。 実験の結果,提案手法は両WSDタスクにおける現状よりも優れた結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years of research in Natural Language Processing (NLP) have witnessed dramatic growth in training large models for generating context-aware language representations. In this regard, numerous NLP systems have leveraged the power of neural network-based architectures to incorporate sense information in embeddings, resulting in Contextualized Word Embeddings (CWEs). Despite this progress, the NLP community has not witnessed any significant work performing a comparative study on the contextualization power of such architectures. This paper presents a comparative study and an extensive analysis of nine widely adopted Transformer models. These models are BERT, CTRL, DistilBERT, OpenAI-GPT, OpenAI-GPT2, Transformer-XL, XLNet, ELECTRA, and ALBERT. We evaluate their contextualization power using two lexical sample Word Sense Disambiguation (WSD) tasks, SensEval-2 and SensEval-3. We adopt a simple yet effective approach to WSD that uses a k-Nearest Neighbor (kNN) classification on CWEs. Experimental results show that the proposed techniques also achieve superior results over the current state-of-the-art on both the WSD tasks
• Abstract（参考訳）: 近年の自然言語処理(NLP)の研究は、文脈対応言語表現を生成するための大規模モデルのトレーニングにおいて、劇的な成長を見せている。 この点において、多くのNLPシステムは、ニューラルネットワークベースのアーキテクチャのパワーを活用して、埋め込みにセンス情報を組み込むことにより、コンテキスト化されたワード埋め込み(CWE)を実現している。 この進歩にもかかわらず、NLPコミュニティは、そのようなアーキテクチャの文脈化能力の比較研究を行う重要な研究を目撃していない。 本稿では,9つの広く採用されているトランスフォーマーモデルの比較研究と広範な解析を行う。 これらのモデルはBERT、CTRL、DistilBERT、OpenAI-GPT、OpenAI-GPT2、Transformer-XL、XLNet、ELECTRA、ALBERTである。 本稿では,2つの単語センス曖昧化(WSD)タスクであるSensEval-2とSensEval-3を用いて文脈化能力を評価する。 我々は、CWE上でk-Nearest Neighbor(kNN)分類を使用するWSDに対して、シンプルで効果的なアプローチを採用する。 実験結果から,提案手法は両WSDタスクの現況よりも優れた結果が得られることが示された。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources [11.257738983764499]
  現在、Word Sense Disambiguation (WSD) の監視モデルは、最も人気のあるベンチマークで最先端の結果をもたらす。 我々は、WordNetとWordNet Domainsという2つの人気のあるSLRを利用する「モダンな」教師付きWSDモデルを強化する。 本研究では,単語埋め込みやリカレントニューラルネットワークの混合によって符号化された局所的文脈との相互作用について,異なるタイプの意味的特徴の影響について検討する。
  論文  参考訳（メタデータ） (2024-02-20T13:47:51Z)
• A Cohesive Distillation Architecture for Neural Language Models [0.0]
  自然言語処理の最近のトレンドは、言語モデル(LM)のサイズが指数関数的に増加することである。 本研究では,大規模モデルの効率的な代替手段を提供するために,知識蒸留法(KD)について検討する。
  論文  参考訳（メタデータ） (2023-01-12T08:01:53Z)
• INTERACTION: A Generative XAI Framework for Natural Language Inference Explanations [58.062003028768636]
  現在のXAIアプローチは、ひとつの説明を提供することにのみ焦点をあてています。 本稿では、生成型XAIフレームワーク、InterACTION(explaIn aNd predicT thEn queRy with contextuAl CondiTional variational autO-eNcoder)を提案する。 提案するフレームワークは,説明とラベル予測の2つのステップ,および(ステップ2)異種証拠生成の2つのステップで説明を行う。
  論文  参考訳（メタデータ） (2022-09-02T13:52:39Z)
• Exploring Dimensionality Reduction Techniques in Multilingual Transformers [64.78260098263489]
  本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。 これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
  論文  参考訳（メタデータ） (2022-04-18T17:20:55Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)
• Training Bi-Encoders for Word Sense Disambiguation [4.149972584899897]
  Word Sense Disambiguationの最先端のアプローチは、これらのモデルからの事前訓練された埋め込みとともに語彙情報を活用し、標準評価ベンチマークにおける人間間のアノテータ合意に匹敵する結果を得る。 我々はさらに,多段階事前学習および微調整パイプラインを通じて,Word Sense Disambiguationにおける技術の現状について述べる。
  論文  参考訳（メタデータ） (2021-05-21T06:06:03Z)
• The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures [0.0]
  自然言語処理モデルは言語的および意味的なタスクにおいて驚くべき成功を収めた。 最近のNLPアーキテクチャは、中程度のモデルサイズを達成するために、トランスファーラーニング、プルーニング、量子化、知識蒸留の概念を活用している。 知識レトリバーは、より大きなデータベースのコーパスから、より効率と正確さで明示的なデータドキュメントを抽出するために構築されている。
  論文  参考訳（メタデータ） (2021-03-23T22:38:20Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)
• An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition [5.161531917413708]
  本研究では,条件付きランダムフィールド層を有する変圧器ベースネットワークを提案する。 本研究は,移動学習が形態的に豊かな言語処理に与える影響を定量化する文献に寄与する。
  論文  参考訳（メタデータ） (2020-05-14T06:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。