論文の概要: A Comparative Study of Lexical Substitution Approaches based on Neural Language Models

• arxiv url: http://arxiv.org/abs/2006.00031v1
• Date: Fri, 29 May 2020 18:43:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 23:32:15.241218
• Title: A Comparative Study of Lexical Substitution Approaches based on Neural Language Models
• Title（参考訳）: ニューラルランゲージモデルに基づく語彙置換アプローチの比較研究
• Authors: Nikolay Arefyev, Boris Sheludko, Alexander Podolskiy, and Alexander Panchenko
• Abstract要約: 本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
• 参考スコア（独自算出の注目度）: 117.96628873753123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lexical substitution in context is an extremely powerful technology that can be used as a backbone of various NLP applications, such as word sense induction, lexical relation extraction, data augmentation, etc. In this paper, we present a large-scale comparative study of popular neural language and masked language models (LMs and MLMs), such as context2vec, ELMo, BERT, XLNet, applied to the task of lexical substitution. We show that already competitive results achieved by SOTA LMs/MLMs can be further improved if information about the target word is injected properly, and compare several target injection methods. In addition, we provide analysis of the types of semantic relations between the target and substitutes generated by different models providing insights into what kind of words are really generated or given by annotators as substitutes.
• Abstract（参考訳）: 文脈における語彙置換は、単語感覚誘導、語彙関係抽出、データ拡張など、様々なNLPアプリケーションのバックボーンとして使用できる非常に強力な技術である。 本稿では,context2vec,elmo,bert,xlnet などの汎用言語モデルとマスキング言語モデル(lms,mlms)について,語彙置換の課題に適用した大規模比較研究を行う。 また,soma lms/mlmsによる競合効果は,目的語に関する情報が適切に注入された場合にさらに向上し,複数のターゲット注入法を比較した。 さらに,異なるモデルが生成する代替語と対象語間の意味的関係の分析を行い,アノテータが実際にどのような単語を生成しているか,あるいは代用語として与えているのかを考察する。

関連論文リスト

• Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources [11.257738983764499]
  現在、Word Sense Disambiguation (WSD) の監視モデルは、最も人気のあるベンチマークで最先端の結果をもたらす。 我々は、WordNetとWordNet Domainsという2つの人気のあるSLRを利用する「モダンな」教師付きWSDモデルを強化する。 本研究では,単語埋め込みやリカレントニューラルネットワークの混合によって符号化された局所的文脈との相互作用について,異なるタイプの意味的特徴の影響について検討する。
  論文  参考訳（メタデータ） (2024-02-20T13:47:51Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Synonym Detection Using Syntactic Dependency And Neural Embeddings [3.0770051635103974]
  ベクトル空間モデルを用いた分布意味論の導出における構文依存の役割について検討する。 本研究は,ニューラルネットワークへの人間のコンパイルした意味知識の注入が分散分布の類似性に及ぼす影響について検討する。 この結果から,構文的条件付きコンテキストは,非条件付きコンテキストよりも語彙的意味論の解釈が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-30T03:16:41Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Reranking Machine Translation Hypotheses with Structured and Web-based Language Models [11.363601836199331]
  N-best Rescoringには2つの構造化言語モデルが適用される。 これらの言語モデルの組み合わせにより、BLEUのスコアはブラインドテストセットで完全に1.6%まで上昇する。
  論文  参考訳（メタデータ） (2021-04-25T22:09:03Z)
• Adversarial Subword Regularization for Robust Neural Machine Translation [23.968624881678913]
  さまざまなサブワードセグメンテーションをニューラルネットワーク翻訳(NMT)モデルに公開することで、機械翻訳の堅牢性が向上することがしばしばある。 本稿では,訓練中の勾配信号が多種多様なサブワードセグメンテーションの代替基準となるかどうかを検討するために,ADVSR(adversarial subword regularization)を提案する。
  論文  参考訳（メタデータ） (2020-04-29T12:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。