論文の概要: Learning Word Embedding with Better Distance Weighting and Window Size Scheduling

• arxiv url: http://arxiv.org/abs/2404.14631v1
• Date: Tue, 23 Apr 2024 00:05:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 15:50:59.356412
• Title: Learning Word Embedding with Better Distance Weighting and Window Size Scheduling
• Title（参考訳）: 距離重み改善とウィンドウサイズスケジューリングによる単語埋め込み学習
• Authors: Chaohao Yang,
• Abstract要約: 本稿では,Learnerable Formulated Weights (LFW) と Epoch ベースの Dynamic Window Size (EDWS) を導入し,距離情報を Word2Vec に組み込む。 LFW と EDWS が Word2Vec の性能向上に有効であることを実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed word representation (a.k.a. word embedding) is a key focus in natural language processing (NLP). As a highly successful word embedding model, Word2Vec offers an efficient method for learning distributed word representations on large datasets. However, Word2Vec lacks consideration for distances between center and context words. We propose two novel methods, Learnable Formulated Weights (LFW) and Epoch-based Dynamic Window Size (EDWS), to incorporate distance information into two variants of Word2Vec, the Continuous Bag-of-Words (CBOW) model and the Continuous Skip-gram (Skip-gram) model. For CBOW, LFW uses a formula with learnable parameters that best reflects the relationship of influence and distance between words to calculate distance-related weights for average pooling, providing insights for future NLP text modeling research. For Skip-gram, we improve its dynamic window size strategy to introduce distance information in a more balanced way. Experiments prove the effectiveness of LFW and EDWS in enhancing Word2Vec's performance, surpassing previous state-of-the-art methods.
• Abstract（参考訳）: 分散語表現(英: Distributed word representation、別名、単語埋め込み)は、自然言語処理(NLP)における重要な焦点である。 非常に成功した単語埋め込みモデルとして、Word2Vecは大規模なデータセット上で分散ワード表現を学習する効率的な方法を提供する。 しかし、Word2Vecは中心語と文脈語の間の距離を考慮していない。 本稿では,Learningable Formulated Weights (LFW) と Epoch-based Dynamic Window Size (EDWS) という2つの新しい手法を提案する。 CBOWの場合、LFWは学習可能なパラメータを持つ公式を使用して、単語間の影響と距離の関係を最もよく反映し、平均プールにおける距離関連重みを計算し、将来のNLPテキストモデリング研究の洞察を提供する。 Skip-gramでは、よりバランスの取れた方法で距離情報を導入するために、動的ウィンドウサイズ戦略を改善している。 LFW と EDWS が Word2Vec の性能向上に有効であることを実証した。

関連論文リスト

• Fine-tuning CLIP Text Encoders with Two-step Paraphrasing [83.3736789315201]
  パラフレーズに対するCLIPモデルの表現を強化するための簡単な微調整手法を提案する。 ParaCLIPと呼ばれる我々のモデルは、様々なタスクでベースラインCLIPモデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-23T06:11:50Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Word-Level Representation From Bytes For Language Modeling [46.28198397863388]
  サブワードのトークン化はノイズに対して堅牢ではなく、新しい言語への一般化が難しい。 本稿では,単語レベルの表現をバイトから直接構築するクロスアテンションネットワークと,単語レベルの隠蔽状態に基づくサブワードレベルの予測を導入する。 Byte2Wordは強力なサブワードベースラインBERTと同等だが、埋め込みサイズは10%程度しかない。
  論文  参考訳（メタデータ） (2022-11-23T03:11:13Z)
• Utilizing Language-Image Pretraining for Efficient and Robust Bilingual Word Alignment [27.405171616881322]
  We developed a novel UWT method called Word Alignment using Language- Image Pretraining (WALIP)。 WALIPは、CLIPモデルが提供する画像とテキストの共有埋め込み空間を介して視覚的観察を使用する。 実験の結果,WALIPは言語対のバイリンガル単語アライメントの最先端性能を改善していることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T20:29:26Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• Intrinsic analysis for dual word embedding space models [0.0]
  ウィンドウベースのWord2VecとカウントベースのGloveの2種類の古典的埋め込み手法を比較した。 全てのバリエーションを考慮し、広範囲な評価を行うため、意味、関連性、類似性評価のタスクに対して合計84の異なるモデルを比較した。 Gloveの場合、非デフォルトモデルは、すべての3つの評価タスクでパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-12-01T18:40:42Z)
• NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora [62.997667081978825]
  本稿では,イタリア語に対する教師なし語彙意味変化のシステムと知見について述べる。 その課題は、対象の単語が時間とともにその意味を進化させたかどうかを判断することであり、それは2つの時間固有のデータセットからの原文のみに依存する。 本研究では,各期間に対象単語を表す2つのモデルを提案し,しきい値と投票方式を用いて変化単語を予測する。
  論文  参考訳（メタデータ） (2020-11-07T11:27:18Z)
• Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model [1.2691047660244335]
  単語ベクトルを学習するための word2vec モデルを解析し,バングラ語に最も効果的な単語埋め込みを提案する。 我々は,単語ベクトルをクラスタ化して,単語の関連性について固有の評価を行うとともに,ニュース記事の特徴として異なる単語埋め込みを用いる。
  論文  参考訳（メタデータ） (2020-10-26T08:00:48Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Attention Word Embedding [23.997145283950346]
  本稿では,アテンションワード埋め込み(AWE)モデルを紹介し,アテンションメカニズムをCBOWモデルに統合する。 また,サブワード情報を組み込んだAWE-Sを提案する。 AWEとAWE-Sは、様々な単語類似性データセット上で、最先端の単語埋め込みモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-01T14:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。