論文の概要: Statistical Uncertainty in Word Embeddings: GloVe-V

• arxiv url: http://arxiv.org/abs/2406.12165v1
• Date: Tue, 18 Jun 2024 00:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 23:18:17.396870
• Title: Statistical Uncertainty in Word Embeddings: GloVe-V
• Title（参考訳）: 単語埋め込みにおける統計的不確かさ:GloVe-V
• Authors: Andrea Vallebueno, Cassandra Handan-Nader, Christopher D. Manning, Daniel E. Ho,
• Abstract要約: 本稿では,GloVeの近似的,使いやすい,スケーラブルな再構成誤差分散推定手法を提案する。 分散を伴う埋め込み(GloVe-V)の価値を示すために,本手法がコアワード埋め込みタスクにおいて,原理的仮説テストを実現する方法について述べる。
• 参考スコア（独自算出の注目度）: 35.04183792123882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Static word embeddings are ubiquitous in computational social science applications and contribute to practical decision-making in a variety of fields including law and healthcare. However, assessing the statistical uncertainty in downstream conclusions drawn from word embedding statistics has remained challenging. When using only point estimates for embeddings, researchers have no streamlined way of assessing the degree to which their model selection criteria or scientific conclusions are subject to noise due to sparsity in the underlying data used to generate the embeddings. We introduce a method to obtain approximate, easy-to-use, and scalable reconstruction error variance estimates for GloVe (Pennington et al., 2014), one of the most widely used word embedding models, using an analytical approximation to a multivariate normal model. To demonstrate the value of embeddings with variance (GloVe-V), we illustrate how our approach enables principled hypothesis testing in core word embedding tasks, such as comparing the similarity between different word pairs in vector space, assessing the performance of different models, and analyzing the relative degree of ethnic or gender bias in a corpus using different word lists.
• Abstract（参考訳）: 静的な単語埋め込みは、計算社会科学の応用においてユビキタスであり、法律や医療など様々な分野における実践的な意思決定に貢献している。 しかし,単語埋め込み統計から得られた下流結論の統計的不確実性を評価することは依然として困難である。 埋め込みに点推定のみを用いる場合、研究者は埋め込みを生成するために使用される基礎データにおいて、モデル選択基準や科学的結論がノイズにさらされている程度を評価するための合理化方法がない。 我々は,多変量正規モデルに対する解析近似を用いて,最も広く使用されている単語埋め込みモデルの一つであるGloVe (Pennington et al , 2014) の近似的,使いやすい,スケーラブルな再構成誤差分散を求める手法を提案する。 GloVe-Vは,ベクトル空間における異なる単語対の類似性を比較し,異なるモデルの性能を評価し,異なる単語リストを用いてコーパス内の民族的,性別的バイアスの相対的程度を解析する。

関連論文リスト

• Logistic Regression Equivalence: A Framework for Comparing Logistic Regression Models Across Populations [4.518012967046983]
  本研究は, 個体群差に対する既定寛容レベルの同値試験が, 推論の精度を高めることを論じる。 診断データについては、等価モデルと等価でないモデルの例を示す。
  論文  参考訳（メタデータ） (2023-03-23T15:12:52Z)
• MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
  本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。 我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。 我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
  論文  参考訳（メタデータ） (2022-12-30T07:37:40Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Statistically significant detection of semantic shifts using contextual word embeddings [7.439525715543974]
  文脈的単語埋め込みと順列に基づく統計的テストを組み合わせて意味的変化を推定する手法を提案する。 本手法の性能をシミュレーションで実証し,偽陽性を抑圧することにより,一貫して高精度に達成する。 また,SemEval-2020 Task 1 と Liverpool FC subreddit corpus の実際のデータも分析した。
  論文  参考訳（メタデータ） (2021-04-08T13:58:54Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)
• Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference [5.283529004179579]
  自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。 仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
  論文  参考訳（メタデータ） (2021-01-19T01:08:06Z)
• Detecting Word Sense Disambiguation Biases in Machine Translation for Model-Agnostic Adversarial Attacks [84.61578555312288]
  本稿では,統計的データ特性に基づく曖昧な誤りの予測手法を提案する。 我々は,曖昧な誤りを生じさせるため,文の摂動を最小限に抑える,単純な敵攻撃戦略を開発する。 以上の結果から,曖昧さの堅牢性はドメイン間で大きく異なり,同一データ上でトレーニングされた異なるモデルが異なる攻撃に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2020-11-03T17:01:44Z)
• Word Embeddings: Stability and Semantic Change [0.0]
  本稿では,過去10年で最も影響力のある埋め込み技術である word2vec, GloVe, fastText のトレーニングプロセスの不安定性について実験的に検討する。 本稿では,埋め込み手法の不安定性を記述する統計モデルを提案し,個々の単語の表現の不安定性を測定するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2020-07-23T16:03:50Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。