論文の概要: A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models

• arxiv url: http://arxiv.org/abs/2010.15036v1
• Date: Wed, 28 Oct 2020 15:15:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 05:20:43.128431
• Title: A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models
• Title（参考訳）: 単語表現モデルに関する包括的調査 : 古典語から最先端語表現言語モデルへ
• Authors: Usman Naseem, Imran Razzak, Shah Khalid Khan, Mukesh Prasad
• Abstract要約: 調査では、異なる単語表現モデルとその表現力について調べる。 我々は様々なテキスト表現法を記述し、モデル設計はNLPの文脈で花を咲かせてきた。 ML および DL ベースの分類器,評価指標,およびこれらの単語を異なる NLP タスクに埋め込んだ場合の応用について概説する。
• 参考スコア（独自算出の注目度）: 7.977161233209228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Word representation has always been an important research area in the history of natural language processing (NLP). Understanding such complex text data is imperative, given that it is rich in information and can be used widely across various applications. In this survey, we explore different word representation models and its power of expression, from the classical to modern-day state-of-the-art word representation language models (LMS). We describe a variety of text representation methods, and model designs have blossomed in the context of NLP, including SOTA LMs. These models can transform large volumes of text into effective vector representations capturing the same semantic information. Further, such representations can be utilized by various machine learning (ML) algorithms for a variety of NLP related tasks. In the end, this survey briefly discusses the commonly used ML and DL based classifiers, evaluation metrics and the applications of these word embeddings in different NLP tasks.
• Abstract（参考訳）: 単語表現は、自然言語処理(NLP)の歴史において、常に重要な研究領域である。 このような複雑なテキストデータの理解は、情報に富み、様々なアプリケーションで広く利用することができるため、必須である。 本研究では,従来の語表現モデルから現代語表現言語モデル(LMS)まで,異なる語表現モデルとその表現力について検討する。 我々は様々なテキスト表現法を記述し、モデル設計はSOTA LMを含むNLPの文脈で花を咲かせている。 これらのモデルは、大量のテキストを、同じ意味情報をキャプチャする効果的なベクトル表現に変換することができる。 さらに、このような表現は、さまざまなNLP関連タスクに対して、さまざまな機械学習(ML)アルゴリズムによって利用することができる。 最後に,ML および DL ベースの分類器,評価指標,およびこれらの単語を異なる NLP タスクに埋め込むための応用について概説する。

関連論文リスト

• An Inclusive Notion of Text [69.36678873492373]
  テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。 言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:26:43Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• On the Universality of Deep COntextual Language Models [15.218264849664715]
  ELMOやBERTのような深い文脈言語モデル(LM)は、自然言語処理のランドスケープを支配している。 XLM-RやmBERTのような多言語モデルでは、ゼロショットのクロスリンガル転送が期待できる結果となった。 この最初の成功により、訓練済みのモデルはユニバーサル言語モデルとして使用されている。
  論文  参考訳（メタデータ） (2021-09-15T08:00:33Z)
• High-dimensional distributed semantic spaces for utterances [0.2907403645801429]
  本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。 言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。 本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
  論文  参考訳（メタデータ） (2021-04-01T12:09:47Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)
• Deep learning models for representing out-of-vocabulary words [1.4502611532302039]
  本稿では,語彙外(OOV)単語を表現するためのディープラーニングモデルの性能評価を行う。 OOV単語を扱うための最善のテクニックはタスクごとに異なるが、OV単語のコンテキストと形態構造に基づいて埋め込みを推論する深層学習手法であるComickは、有望な結果を得た。
  論文  参考訳（メタデータ） (2020-07-14T19:31:25Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)
• Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
  我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。 実験研究を支援するために,単語順と形態的類似度指標を算出した。
  論文  参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。