論文の概要: Extremal GloVe: Theoretically Accurate Distributed Word Embedding by Tail Inference

• arxiv url: http://arxiv.org/abs/2204.13009v1
• Date: Wed, 27 Apr 2022 15:29:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 17:20:14.044006
• Title: Extremal GloVe: Theoretically Accurate Distributed Word Embedding by Tail Inference
• Title（参考訳）: 極端グローブ:テール推論による理論的に正確な分散単語埋め込み
• Authors: Hao Wang
• Abstract要約: Word2VecやGloVeのような分散単語埋め込みは、産業環境で広く採用されている。 GloVeの主な技術応用は推薦システムと自然言語処理である。
• 参考スコア（独自算出の注目度）: 4.658166900129066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed word embeddings such as Word2Vec and GloVe have been widely adopted in industrial context settings. Major technical applications of GloVe include recommender systems and natural language processing. The fundamental theory behind GloVe relies on the selection of a weighting function in the weighted least squres formulation that computes the powered ratio of word occurrence count and the maximum word count in the corpus. However, the initial formulation of GloVe is not theoretically sound in two aspects, namely the selection of the weighting function and its power exponent is ad-hoc. In this paper, we utilize the theory of extreme value analysis and propose a theoretically accurate version of GloVe. By reformulating the weighted least squares loss function as the expected loss function and accurately choosing the power exponent, we create a theoretically accurate version of GloVe. We demonstrate the competitiveness of our algorithm and show that the initial formulation of GloVe with the suggested optimal parameter can be viewed as a special case of our paradigm.
• Abstract（参考訳）: Word2VecやGloVeのような分散単語埋め込みは、産業環境で広く採用されている。 GloVeの主な技術応用は推薦システムと自然言語処理である。 GloVeの背後にある基本的な理論は、単語発生数とコーパス内の最大単語数とのパワー比を計算する重み付き最小クォール式における重み付け関数の選択に依存する。 しかし、GloVe の初期定式化は理論的には2つの側面において健全ではない、すなわち重み付け関数とその出力指数はアドホックである。 本稿では,極値解析の理論を利用して,GloVeの理論的に正確なバージョンを提案する。 重み付き最小二乗損失関数を期待損失関数として再構成し、パワー指数を正確に選択することにより、理論上正確なグローブ版を作成する。 本稿では,アルゴリズムの競合性を実証し,提案した最適パラメータによるGloVeの初期定式化をパラダイムの特別な場合とみなせることを示す。

関連論文リスト

• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Word Embedding Dimension Reduction via Weakly-Supervised Feature Selection [34.217661429283666]
  語彙が大きくなるにつれて、ベクトル空間の次元は増加し、それが膨大なモデルサイズに繋がる。 本稿では,単語埋め込み次元の減少について検討する。 本稿では,WordFS という機能選択手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T06:36:09Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Bit Cipher -- A Simple yet Powerful Word Representation System that Integrates Efficiently with Language Models [4.807347156077897]
  Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。 我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。 埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
  論文  参考訳（メタデータ） (2023-11-18T08:47:35Z)
• Variational Bayesian Neural Networks via Resolution of Singularities [1.2183405753834562]
  ベイズニューラルネットワーク(BNN)における変分推論の理論と実践に関連する特異学習理論(SLT)の重要性を提唱する。 本研究では, 下流予測性能, テストログ予測密度, 変動目標との相違点を取り巻く混乱を補う。 我々は,SLT補正形式を特異な後部分布に用いて,変分族自体の設計を知らせる。
  論文  参考訳（メタデータ） (2023-02-13T00:32:49Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Infinite-dimensional optimization and Bayesian nonparametric learning of stochastic differential equations [0.04297070083645048]
  論文の第1部は、無限次元最適化空間に対するある種の一般結果を確立する。 本論文の第2部では,微分方程式のドリフト関数を学習するための体系的アプローチを開発した。
  論文  参考訳（メタデータ） (2022-05-30T18:22:47Z)
• RatE: Relation-Adaptive Translating Embedding for Knowledge Graph Completion [51.64061146389754]
  複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。 次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
  論文  参考訳（メタデータ） (2020-10-10T01:30:30Z)
• GloVeInit at SemEval-2020 Task 1: Using GloVe Vector Initialization for Unsupervised Lexical Semantic Change Detection [0.0]
  本稿では,SemEval 2020 Task 1: Unsupervised Lexical Semantic Change Detectionに対するベクトル初期化手法を提案する。 提案手法はベクトル初期化法を用いてGloVeの埋め込みを整列させる。 私たちのモデルは,2つのサブタスクの33チームの中で,13位と10位です。
  論文  参考訳（メタデータ） (2020-07-10T21:35:17Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。