論文の概要: Analysis and Evaluation of Language Models for Word Sense Disambiguation

• arxiv url: http://arxiv.org/abs/2008.11608v3
• Date: Wed, 17 Mar 2021 19:16:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 21:39:45.122269
• Title: Analysis and Evaluation of Language Models for Word Sense Disambiguation
• Title（参考訳）: 単語センス曖昧化のための言語モデルの解析と評価
• Authors: Daniel Loureiro, Kiamehr Rezaee, Mohammad Taher Pilehvar, Jose Camacho-Collados
• Abstract要約: トランスフォーマーベースの言語モデルは、嵐によってNLPの多くの分野を取り込んでいる。 BERTは、ワードセンス毎に限られた数のサンプルが利用できる場合でも、高いレベルの感覚の区別を正確に捉えることができる。 BERTとその派生種は既存の評価ベンチマークの大部分を支配している。
• 参考スコア（独自算出の注目度）: 18.001457030065712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based language models have taken many fields in NLP by storm. BERT and its derivatives dominate most of the existing evaluation benchmarks, including those for Word Sense Disambiguation (WSD), thanks to their ability in capturing context-sensitive semantic nuances. However, there is still little knowledge about their capabilities and potential limitations in encoding and recovering word senses. In this article, we provide an in-depth quantitative and qualitative analysis of the celebrated BERT model with respect to lexical ambiguity. One of the main conclusions of our analysis is that BERT can accurately capture high-level sense distinctions, even when a limited number of examples is available for each word sense. Our analysis also reveals that in some cases language models come close to solving coarse-grained noun disambiguation under ideal conditions in terms of availability of training data and computing resources. However, this scenario rarely occurs in real-world settings and, hence, many practical challenges remain even in the coarse-grained setting. We also perform an in-depth comparison of the two main language model based WSD strategies, i.e., fine-tuning and feature extraction, finding that the latter approach is more robust with respect to sense bias and it can better exploit limited available training data. In fact, the simple feature extraction strategy of averaging contextualized embeddings proves robust even using only three training sentences per word sense, with minimal improvements obtained by increasing the size of this training data.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは、嵐によってNLPの多くの分野を取り込んでいる。 BERTとそのデリバティブは、コンテキストセンシティブなセマンティックニュアンスをキャプチャする能力のおかげで、Word Sense Disambiguation (WSD)など、既存の評価ベンチマークの大部分を支配している。 しかし、単語感覚のエンコーディングと復元における能力や潜在的な制限についてはまだほとんど知識がない。 本稿では、語彙的曖昧性に関して、祝賀されたBERTモデルの詳細な定量的および定性的な分析を行う。 我々の分析の主な結論の1つは、BERTは、単語センス毎に限られた数の例が利用できる場合でも、高精度の感覚区別を正確に取得できるということである。 また,学習データと計算資源の可用性の観点から,言語モデルが理想的な条件下での粗粒度名詞の曖昧さ解消に近づいている場合もみられた。 しかし、このシナリオは現実世界ではほとんど発生しないため、粗い設定でも多くの実践的な課題が残っている。 また,2つの主要言語モデルに基づくwsd戦略,すなわち微調整と特徴抽出の詳細な比較を行い,後者のアプローチが感覚バイアスに関してより堅牢であり,利用可能な限られたトレーニングデータをうまく活用できることを示す。 実際、文脈的埋め込みを平均化する単純な特徴抽出戦略は、単語単位のトレーニング文を3つだけ使用しても頑健であり、このトレーニングデータのサイズを増大させることによって得られる改善は最小限である。

関連論文リスト

• Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
  きめ細かい評価のための新しいアプローチを導入する。 テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。 きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
  論文  参考訳（メタデータ） (2024-10-16T09:42:29Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss [17.213602354715956]
  本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。 本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-19T05:33:27Z)
• Entity Disambiguation with Entity Definitions [50.01142092276296]
  ローカルモデルはEntity Disambiguation (ED)で最近驚くべきパフォーマンスを達成した それまでの研究は、各候補者のテキスト表現として、ウィキペディアのタイトルのみを使うことに限られていた。 本稿では、この制限に対処し、より表現力のあるテキスト表現がそれを緩和できる範囲について検討する。 提案する6つのベンチマークのうち2つに新たな技術の現状を報告し,未知のパターンに対する一般化能力を強く改善する。
  論文  参考訳（メタデータ） (2022-10-11T17:46:28Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Few-shot Named Entity Recognition with Cloze Questions [3.561183926088611]
  本稿では,クローゼクエスト機構とファインチューニングを併用した数ショット学習手法であるPET(Pattern-Exploiting Training)の簡易かつ直感的な適応を提案する。 提案手法は,他の数発のベースラインに対して,標準的な微調整や同等あるいは改良された結果よりもはるかに優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-11-24T11:08:59Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)
• Training Bi-Encoders for Word Sense Disambiguation [4.149972584899897]
  Word Sense Disambiguationの最先端のアプローチは、これらのモデルからの事前訓練された埋め込みとともに語彙情報を活用し、標準評価ベンチマークにおける人間間のアノテータ合意に匹敵する結果を得る。 我々はさらに,多段階事前学習および微調整パイプラインを通じて,Word Sense Disambiguationにおける技術の現状について述べる。
  論文  参考訳（メタデータ） (2021-05-21T06:06:03Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。