論文の概要: Extremal GloVe: Theoretically Accurate Distributed Word Embedding by
Tail Inference
- arxiv url: http://arxiv.org/abs/2204.13009v1
- Date: Wed, 27 Apr 2022 15:29:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-28 17:20:14.044006
- Title: Extremal GloVe: Theoretically Accurate Distributed Word Embedding by
Tail Inference
- Title(参考訳): 極端グローブ:テール推論による理論的に正確な分散単語埋め込み
- Authors: Hao Wang
- Abstract要約: Word2VecやGloVeのような分散単語埋め込みは、産業環境で広く採用されている。
GloVeの主な技術応用は推薦システムと自然言語処理である。
- 参考スコア(独自算出の注目度): 4.658166900129066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributed word embeddings such as Word2Vec and GloVe have been widely
adopted in industrial context settings. Major technical applications of GloVe
include recommender systems and natural language processing. The fundamental
theory behind GloVe relies on the selection of a weighting function in the
weighted least squres formulation that computes the powered ratio of word
occurrence count and the maximum word count in the corpus. However, the initial
formulation of GloVe is not theoretically sound in two aspects, namely the
selection of the weighting function and its power exponent is ad-hoc. In this
paper, we utilize the theory of extreme value analysis and propose a
theoretically accurate version of GloVe. By reformulating the weighted least
squares loss function as the expected loss function and accurately choosing the
power exponent, we create a theoretically accurate version of GloVe. We
demonstrate the competitiveness of our algorithm and show that the initial
formulation of GloVe with the suggested optimal parameter can be viewed as a
special case of our paradigm.
- Abstract(参考訳): Word2VecやGloVeのような分散単語埋め込みは、産業環境で広く採用されている。
GloVeの主な技術応用は推薦システムと自然言語処理である。
GloVeの背後にある基本的な理論は、単語発生数とコーパス内の最大単語数とのパワー比を計算する重み付き最小クォール式における重み付け関数の選択に依存する。
しかし、GloVe の初期定式化は理論的には2つの側面において健全ではない、すなわち重み付け関数とその出力指数はアドホックである。
本稿では,極値解析の理論を利用して,GloVeの理論的に正確なバージョンを提案する。
重み付き最小二乗損失関数を期待損失関数として再構成し、パワー指数を正確に選択することにより、理論上正確なグローブ版を作成する。
本稿では,アルゴリズムの競合性を実証し,提案した最適パラメータによるGloVeの初期定式化をパラダイムの特別な場合とみなせることを示す。
関連論文リスト
- Bit Cipher -- A Simple yet Powerful Word Representation System that
Integrates Efficiently with Language Models [4.807347156077897]
Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。
我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。
埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
論文 参考訳(メタデータ) (2023-11-18T08:47:35Z) - Biomedical Named Entity Recognition via Dictionary-based Synonym
Generalization [51.89486520806639]
本研究では,入力テキストに含まれる生物医学的概念をスパンベース予測を用いて認識する,新しいSynGenフレームワークを提案する。
提案手法を広範囲のベンチマークで広範囲に評価し,SynGenが従来の辞書ベースモデルよりも顕著なマージンで優れていることを確認した。
論文 参考訳(メタデータ) (2023-05-22T14:36:32Z) - Variational Bayesian Neural Networks via Resolution of Singularities [1.2183405753834562]
ベイズニューラルネットワーク(BNN)における変分推論の理論と実践に関連する特異学習理論(SLT)の重要性を提唱する。
本研究では, 下流予測性能, テストログ予測密度, 変動目標との相違点を取り巻く混乱を補う。
我々は,SLT補正形式を特異な後部分布に用いて,変分族自体の設計を知らせる。
論文 参考訳(メタデータ) (2023-02-13T00:32:49Z) - Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。
AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。
提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-03T11:09:13Z) - Infinite-dimensional optimization and Bayesian nonparametric learning of
stochastic differential equations [0.04297070083645048]
論文の第1部は、無限次元最適化空間に対するある種の一般結果を確立する。
本論文の第2部では,微分方程式のドリフト関数を学習するための体系的アプローチを開発した。
論文 参考訳(メタデータ) (2022-05-30T18:22:47Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳(メタデータ) (2022-03-21T01:16:44Z) - SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。
BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
論文 参考訳(メタデータ) (2020-12-30T15:38:26Z) - RatE: Relation-Adaptive Translating Embedding for Knowledge Graph
Completion [51.64061146389754]
複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。
次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
論文 参考訳(メタデータ) (2020-10-10T01:30:30Z) - GloVeInit at SemEval-2020 Task 1: Using GloVe Vector Initialization for
Unsupervised Lexical Semantic Change Detection [0.0]
本稿では,SemEval 2020 Task 1: Unsupervised Lexical Semantic Change Detectionに対するベクトル初期化手法を提案する。
提案手法はベクトル初期化法を用いてGloVeの埋め込みを整列させる。
私たちのモデルは,2つのサブタスクの33チームの中で,13位と10位です。
論文 参考訳(メタデータ) (2020-07-10T21:35:17Z) - Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence
Lip-Reading [96.48553941812366]
唇読解は唇運動系列から音声内容を推測することを目的としている。
seq2seqモデルの伝統的な学習プロセスには2つの問題がある。
本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-09T09:12:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。