論文の概要: Attention Word Embedding

• arxiv url: http://arxiv.org/abs/2006.00988v1
• Date: Mon, 1 Jun 2020 14:47:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 05:54:36.585454
• Title: Attention Word Embedding
• Title（参考訳）: 注意語埋め込み
• Authors: Shashank Sonkar, Andrew E. Waters, Richard G. Baraniuk
• Abstract要約: 本稿では,アテンションワード埋め込み(AWE)モデルを紹介し,アテンションメカニズムをCBOWモデルに統合する。 また,サブワード情報を組み込んだAWE-Sを提案する。 AWEとAWE-Sは、様々な単語類似性データセット上で、最先端の単語埋め込みモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 23.997145283950346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word embedding models learn semantically rich vector representations of words and are widely used to initialize natural processing language (NLP) models. The popular continuous bag-of-words (CBOW) model of word2vec learns a vector embedding by masking a given word in a sentence and then using the other words as a context to predict it. A limitation of CBOW is that it equally weights the context words when making a prediction, which is inefficient, since some words have higher predictive value than others. We tackle this inefficiency by introducing the Attention Word Embedding (AWE) model, which integrates the attention mechanism into the CBOW model. We also propose AWE-S, which incorporates subword information. We demonstrate that AWE and AWE-S outperform the state-of-the-art word embedding models both on a variety of word similarity datasets and when used for initialization of NLP models.
• Abstract（参考訳）: 単語埋め込みモデルは意味的にリッチな単語のベクトル表現を学習し、自然処理言語(nlp)モデルを初期化するために広く使われている。 word2vecのcbow(continuous bag-of-words)モデルは、与えられた単語を文にマスキングしてベクトル埋め込みを学び、他の単語を文脈として予測する。 CBOWの制限は、ある単語が他の単語よりも高い予測値を持つため、予測を行う際の文脈語を等しく重み付けることである。 我々は,cbowモデルにアテンション機構を統合するaweモデルを導入することで,この非効率性に取り組む。 また,サブワード情報を組み込んだAWE-Sを提案する。 AWEとAWE-Sは、様々な単語類似性データセットとNLPモデルの初期化に使用する場合の両方において、最先端の単語埋め込みモデルよりも優れていることを示す。

関連論文リスト

• Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
  本稿では,新たな単語認識のための自己教師付き連続学習手法を提案する。 過去の研究から,メモリ拡張型自動音声認識モデルを用いた。 提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-01-09T10:39:17Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Tsetlin Machine Embedding: Representing Words Using Logical Expressions [10.825099126920028]
  本稿では,論理節を自己教師する自動エンコーダについて紹介する。 節は、"black"、"cup"、"hot"のような文脈的な単語からなり、"coffee"のような他の単語を定義する。 我々は,GLoVeを6つの分類タスクで上回り,いくつかの内在的および外在的ベンチマークに対する埋め込み手法の評価を行った。
  論文  参考訳（メタデータ） (2023-01-02T15:02:45Z)
• Word-Level Representation From Bytes For Language Modeling [46.28198397863388]
  サブワードのトークン化はノイズに対して堅牢ではなく、新しい言語への一般化が難しい。 本稿では,単語レベルの表現をバイトから直接構築するクロスアテンションネットワークと,単語レベルの隠蔽状態に基づくサブワードレベルの予測を導入する。 Byte2Wordは強力なサブワードベースラインBERTと同等だが、埋め込みサイズは10%程度しかない。
  論文  参考訳（メタデータ） (2022-11-23T03:11:13Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Imputing Out-of-Vocabulary Embeddings with LOVE Makes Language Models Robust with Little Cost [5.672132510411465]
  最先端のNLPシステムは、単語埋め込みを伴う入力を表すが、外語彙の単語に直面すると、これらは不安定である。 我々は,単語の表面形のみを用いて事前学習した埋め込みの挙動を学習することにより,未知語に対するベクトルを生成するための模倣様モデルの原理に従う。 本稿では,既存の事前学習型言語モデル(BERTなど)の単語表現を拡張したシンプルなコントラスト学習フレームワークLOVEを提案する。
  論文  参考訳（メタデータ） (2022-03-15T13:11:07Z)
• Neural Attention-Aware Hierarchical Topic Model [25.721713066830404]
  文と文書語数を共同で再構成する変分自動エンコーダ(VAE)NTMモデルを提案する。 我々のモデルは、各文書の埋め込みを利用して文の正規化を行う階層的なKL分岐も特徴としている。 定量的および定性的な実験は,1) 文レベルと文書レベルの再現誤りを低減し,2) 実世界のデータセットからより一貫性のあるトピックを発見できる。
  論文  参考訳（メタデータ） (2021-10-14T05:42:32Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model [1.2691047660244335]
  単語ベクトルを学習するための word2vec モデルを解析し,バングラ語に最も効果的な単語埋め込みを提案する。 我々は,単語ベクトルをクラスタ化して,単語の関連性について固有の評価を行うとともに,ニュース記事の特徴として異なる単語埋め込みを用いる。
  論文  参考訳（メタデータ） (2020-10-26T08:00:48Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。