論文の概要: The Spectral Underpinning of word2vec

• arxiv url: http://arxiv.org/abs/2002.12317v2
• Date: Mon, 9 Nov 2020 09:17:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:47:31.820317
• Title: The Spectral Underpinning of word2vec
• Title（参考訳）: word2vecのスペクトル基盤
• Authors: Ariel Jaffe, Yuval Kluger, Ofir Lindenbaum, Jonathan Patsenker, Erez Peterfreund, Stefan Steinerberger
• Abstract要約: 本稿では,Word2vecの高非線形関数の厳密な解析法を提案する。 以上の結果から,Word2vecは主にスペクトル法によって駆動される可能性が示唆された。 1つの興味深いオープンな疑問は、スペクトル法によって捉えられていないWord2vecの非線形特性が有益かどうかであり、もしそうであれば、どんなメカニズムによっても有益である。
• 参考スコア（独自算出の注目度）: 5.513168915109033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: word2vec due to Mikolov \textit{et al.} (2013) is a word embedding method that is widely used in natural language processing. Despite its great success and frequent use, theoretical justification is still lacking. The main contribution of our paper is to propose a rigorous analysis of the highly nonlinear functional of word2vec. Our results suggest that word2vec may be primarily driven by an underlying spectral method. This insight may open the door to obtaining provable guarantees for word2vec. We support these findings by numerical simulations. One fascinating open question is whether the nonlinear properties of word2vec that are not captured by the spectral method are beneficial and, if so, by what mechanism.
• Abstract（参考訳）: word2vec は mikolov \textit{et al.} による。 } (2013) は自然言語処理に広く用いられている単語埋め込み手法である。 その大きな成功と頻繁な使用にもかかわらず、理論的な正当性はまだ欠落している。 本稿では,Word2vecの高非線形関数の厳密な解析法を提案する。 以上の結果から,word2vecは主にスペクトル法によって駆動される可能性が示唆された。 この洞察は word2vec の証明可能な保証を得るための扉を開くかもしれない。 数値シミュレーションによりこれらの知見を裏付ける。 興味深い疑問の一つは、スペクトル法で捉えられていない word2vec の非線形特性が、どんなメカニズムによっても有益であるかどうかである。

関連論文リスト

• Efficient conversion from fermionic Gaussian states to matrix product states [48.225436651971805]
  フェミオンガウス状態から行列積状態に変換する高効率なアルゴリズムを提案する。 翻訳不変性のない有限サイズ系に対しては定式化できるが、無限系に適用すると特に魅力的になる。 この手法のポテンシャルは、2つのキラルスピン液体の数値計算によって示される。
  論文  参考訳（メタデータ） (2024-08-02T10:15:26Z)
• Graph Generation via Spectral Diffusion [51.60814773299899]
  本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGRASPを提案する。 具体的には、固有ベクトルと固有値のサンプリングにデノナイジングモデルを用い、グラフラプラシアン行列と隣接行列を再構成する。 我々の置換不変モデルは各ノードの固有ベクトルに連結することでノードの特徴を扱える。
  論文  参考訳（メタデータ） (2024-02-29T09:26:46Z)
• Explainable Graph Spectral Clustering of Text Documents [0.0]
  本稿では,ラプラシアン系グラフスペクトルクラスタリングの結果を説明することを提案する。 これはラプラシアン埋め込み(英語版)、$K$-埋め込み(この論文で提案されている)および項ベクトル空間埋め込み(英語版)の同値性(近似)を示すことに基づいている。
  論文  参考訳（メタデータ） (2023-08-01T12:39:42Z)
• Third quantization of open quantum systems: new dissipative symmetries and connections to phase-space and Keldysh field theory formulations [77.34726150561087]
  3つの方法全てを明示的に接続する方法で第3量子化の手法を再構成する。 まず、我々の定式化は、すべての二次ボゾンあるいはフェルミオンリンドブラディアンに存在する基本散逸対称性を明らかにする。 ボソンに対して、ウィグナー関数と特徴関数は密度行列の「波動関数」と考えることができる。
  論文  参考訳（メタデータ） (2023-02-27T18:56:40Z)
• Word-Graph2vec: An efficient word embedding approach on word co-occurrence graph using random walk sampling [16.147438184501286]
  比較的大きなコーパスに埋め込まれた単語を訓練するのは違法に高価である。 本稿では,Word-Graph2vecと呼ばれるグラフベースの単語埋め込みアルゴリズムを提案する。 提案アルゴリズムは,従来のSkip-Gramよりも効率が4～5倍高い。
  論文  参考訳（メタデータ） (2023-01-11T05:21:00Z)
• Sent2Matrix: Folding Character Sequences in Serpentine Manifolds for Two-Dimensional Sentence [54.6266741821988]
  テキストを2次元表現に変換し、Sent2Matrix法を開発する。 この手法は単語形態と境界の両方を明示的に組み込むことができる。 特に,本手法は,テキストを2次元フォーマットで表現する最初の試みである。
  論文  参考訳（メタデータ） (2021-03-15T13:52:47Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Topology of Word Embeddings: Singularities Reflect Polysemy [68.8204255655161]
  本稿では,単語の意味の実際の数とよく相関する,永続的ホモロジーに基づく多意味性のトポロジカル尺度を提案する。 本稿では,SemEval-2010における単語センスの誘導と曖昧さに対する単純なトポロジ的な解決法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T17:21:51Z)
• Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model [1.2691047660244335]
  単語ベクトルを学習するための word2vec モデルを解析し,バングラ語に最も効果的な単語埋め込みを提案する。 我々は,単語ベクトルをクラスタ化して,単語の関連性について固有の評価を行うとともに,ニュース記事の特徴として異なる単語埋め込みを用いる。
  論文  参考訳（メタデータ） (2020-10-26T08:00:48Z)
• Word2vec Conjecture and A Limitative Result [8.071506311915396]
  類似関係はベクトル空間で表現できるという予想を考察する。 我々はこのように表現できない関係のクラスを示す。 標数 0 の体上のベクトル空間(実数や複素数など)による意味論的関係の表現可能性に対する極限的な結果を確立する。
  論文  参考訳（メタデータ） (2020-10-24T00:14:04Z)
• Generating Word and Document Embeddings for Sentiment Analysis [0.36525095710982913]
  本稿では、文脈情報と教師付き情報と、辞書に現れる単語の一般的な意味表現を組み合わせる。 トルコの映画ドメインとTwitterデータセットである2つのコーパスに対して、ドメイン固有の感情ベクトルを誘導する。 これは我々のアプローチがクロスドメインであり、他の言語に移植可能であることを示している。
  論文  参考訳（メタデータ） (2020-01-05T16:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。