Fugu-MT 論文翻訳(概要): An Analysis on the Learning Rules of the Skip-Gram Model

論文の概要: An Analysis on the Learning Rules of the Skip-Gram Model

arxiv url: http://arxiv.org/abs/2003.08489v1
Date: Wed, 18 Mar 2020 22:17:48 GMT
ステータス: 処理完了
システム内更新日: 2022-12-22 10:06:56.803859
Title: An Analysis on the Learning Rules of the Skip-Gram Model
Title（参考訳）: スキップグラムモデルの学習規則の分析
Authors: Canlin Zhang, Xiuwen Liu and Daniel Bis
Abstract要約: スキップグラムモデルの学習ルールを導出し、それらの競合学習との密接な関係を確立する。スキップグラムモデルに対して最適解制約を大域的に提供し,実験結果により検証する。
参考スコア（独自算出の注目度）: 4.211128681972148
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: To improve the generalization of the representations for natural language processing tasks, words are commonly represented using vectors, where distances among the vectors are related to the similarity of the words. While word2vec, the state-of-the-art implementation of the skip-gram model, is widely used and improves the performance of many natural language processing tasks, its mechanism is not yet well understood. In this work, we derive the learning rules for the skip-gram model and establish their close relationship to competitive learning. In addition, we provide the global optimal solution constraints for the skip-gram model and validate them by experimental results.
Abstract（参考訳）: 自然言語処理タスクにおける表現の一般化を改善するため、単語はベクトルを用いて表現され、ベクトル間の距離は単語の類似度と関連付けられる。スキップグラムモデルの最先端実装である word2vec は、多くの自然言語処理タスクの性能向上に広く利用されているが、そのメカニズムはまだよく理解されていない。本研究では,スキップグラムモデルの学習ルールを導出し,それらの競合学習との密接な関係を確立する。さらに,スキップグラムモデルに対する大域的最適解制約を提供し,実験結果を用いて検証する。

関連論文リスト

Collapsed Language Models Promote Fairness [88.48232731113306]
偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
論文参考訳（メタデータ） (2024-10-06T13:09:48Z)
Contextual Dictionary Lookup for Knowledge Graph Completion [32.493168863565465]
知識グラフ補完(KGC)は、知識グラフの不完全性(KGs)を解決することを目的として、既知の三重項から欠落するリンクを予測する。既存の埋め込みモデルは、それぞれの関係を一意なベクトルにマッピングし、異なる実体の下でそれらの特定の粒度のセマンティクスを見渡す。本稿では,従来の埋め込みモデルを用いて,関係の微粒なセマンティクスをエンド・ツー・エンドで学習することのできる,文脈辞書検索を利用した新しい手法を提案する。
論文参考訳（メタデータ） (2023-06-13T12:13:41Z)
CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。分割のための専用モデルを訓練するための新しい手法を導入する。
論文参考訳（メタデータ） (2023-05-23T16:32:27Z)
Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文参考訳（メタデータ） (2023-05-19T09:26:02Z)
A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches [5.065947993017158]
既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
論文参考訳（メタデータ） (2023-03-13T15:34:19Z)
Discrete representations in neural models of spoken language [56.29049879393466]
音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。異なる評価指標が矛盾する結果をもたらすことが分かりました。
論文参考訳（メタデータ） (2021-05-12T11:02:02Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
Systematic Generalization on gSCAN with Language Conditioned Embedding [19.39687991647301]
体系的一般化とは、学習アルゴリズムが学習した振る舞いを目に見えない状況に外挿する能力を指す。本稿では,入力自然言語を条件とした動的メッセージパッシングによるオブジェクトの文脈的埋め込みを学習する手法を提案する。
論文参考訳（メタデータ） (2020-09-11T17:35:05Z)
Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文参考訳（メタデータ） (2020-09-10T03:53:18Z)
Can We Learn Heuristics For Graphical Model Inference Using Reinforcement Learning? [114.24881214319048]
我々は、強化学習を用いて、高次条件ランダム場(CRF)における推論を解くためのプログラム、すなわち、ポリシーを学習できることを示します。本手法は,ポテンシャルの形式に制約を加えることなく,推論タスクを効率的に解く。
論文参考訳（メタデータ） (2020-04-27T19:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。