論文の概要: A Statistical Inference Framework for PMI Estimation and SGNS Word Embeddings

• arxiv url: http://arxiv.org/abs/2610.05058v1
• Date: Sun, 04 Oct 2026 08:53:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 06:39:03.493035
• Title: A Statistical Inference Framework for PMI Estimation and SGNS Word Embeddings
• Title（参考訳）: PMI推定とSGNS単語埋め込みのための統計的推論フレームワーク
• Abstract要約: ポイントワイド・ミューチュアル・インフォメーション(PMI)は、単語関連性をテストするための中核的な尺度である。 Skip-gram with Negative Smpling (SGNS) は基本的に、シフトしたPMI行列を暗黙的に分解する手法である。 PMI推定のための統計的枠組みとSGNSとの関係について述べる。
• 参考スコア（独自算出の注目度）: 0.6345523830122167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pointwise Mutual Information (PMI) is a core measure of testing word association, and Skip-gram with Negative Sampling (SGNS) is essentially a method that implicitly factorizes a shifted PMI matrix. However, a systematic and well-rounded characterization of finite-sample uncertainty in PMI estimation remains absent and imperative to venture into. We provide a statistical framework for PMI estimation and its connection to SGNS. We prove consistency, asymptotic unbiasedness, and asymptotic normality of the empirical PMI estimator, derive its variance via the Delta method, and, applying stochastic approximation theory, obtain a variance decomposition for SGNS-based PMI estimation that separates data variance from optimization variance. Simulation experiments validate the Delta method approximation. Real-data experiments on the Brown Corpus (d = 100) reveal that SGNS systematically deviates from the theoretical relationship PMI + log K. The empirical relationship shows an attenuated PMI coefficient, an amplified log K effect, and a positive intercept, indicating systematic bias. Word analogy validation confirms the models are effective. The failure to validate the variance decomposition under low-dimensional conditions does not diminish its theoretical value; rather, it identifies the unbiasedness assumption as the key bottleneck and clarifies the gap between asymptotic theory and practice, providing implications for both practice and theory.
• Abstract（参考訳）: ポイントワイド・ミューチュアル・インフォメーション(PMI)は単語アソシエーションをテストするための中核的尺度であり、SGNS(Skip-gram with Negative Smpling)はシフトしたPMI行列を暗黙的に分解する手法である。 しかしながら、PMI推定における有限サンプルの不確かさの体系的かつ十分に取りまとめられた評価は、いまだに欠落しており、入出力に必須である。 PMI推定のための統計的枠組みとSGNSとの関係について述べる。 我々は、経験的PMI推定器の一貫性、漸近的不偏性、漸近的正規性を証明し、その分散をデルタ法により導出し、確率近似理論を適用して、データ分散を最適化分散から分離するSGNSベースのPMI推定のための分散分解を求める。 シミュレーション実験はデルタ法近似を検証する。 ブラウンコーパスにおける実データ実験(d = 100)では、SGNSが理論的関係 PMI + log K から体系的に逸脱していることが示されている。 単語類似性検証は、モデルの有効性を確認する。 低次元条件下での分散分解の検証の失敗は理論的な価値を低下させるものではなく、むしろ不偏性仮定を重要なボトルネックとして特定し、漸近的理論と実践の間のギャップを明確にし、実践と理論の両方に影響を及ぼす。

関連論文リスト

• Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation [55.47411235954028]
  マスク観測による密度推定では,不規則に不規則に不規則な計算を行う。 我々は,ニュートン内点法で解ける閉じた形状の辺縁を持つ凸型経験的リスク問題を得る。 結果のPSDインプットモデルでは、同一の入射密度から単一および多重インプットが得られる。
  論文  参考訳（メタデータ） (2026-07-08T15:51:05Z)
• Asymptotic breakdown point analysis of the minimum density power divergence estimator under independent non-homogeneous setups [2.449909275410287]
  最低密度パワー分散推定器 (MDPDE) は、ロバスト推論の文献において大きな注目を集めている。 独立系や非均一系(INH)の観測など、様々な装置でうまく応用されている。 INH設定下におけるこの推定器のグローバルな信頼性や破壊挙動に関する一般的な結果は分かっていない。
  論文  参考訳（メタデータ） (2025-08-17T16:33:58Z)
• A Comprehensive Framework for Uncertainty Quantification of Voxel-wise Supervised Models in IVIM MRI [33.7054351451505]
  混合密度ネットワーク(MDN)のディープアンサンブルに基づく確率論的ディープラーニングフレームワークを提案する。 MDNは拡散係数Dと分数fのパラメータに対してより校正され、よりシャープな予測分布が得られたが、擬拡散係数D*ではわずかに過信が観察された。 本稿では,信頼できない推定値の同定と解釈を可能にする,不確実な定量化を伴うIVIMの包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-08-06T16:08:55Z)
• Federated Causal Inference from Multi-Site Observational Data via Propensity Score Aggregation [0.0]
  因果推論は通常、個々のレベルのデータへの集中的なアクセスを仮定する。 本稿では,フェデレートラーニング(FL)手法を用いて,分散化された観測データから平均処理効果(ATE)を推定することにより,この問題に対処する。
  論文  参考訳（メタデータ） (2025-05-23T14:32:57Z)
• Lower Bounds on the MMSE of Adversarially Inferring Sensitive Features [4.8998185508205765]
  本稿では,有限標本サイズと線形予測モデルに基づく,感度の高い特徴推論のための逆評価フレームワークを提案する。 提案手法は,他の相関特徴の雑音観測から感度特性を推定する真のMMSEの理論的下界を確立する。
  論文  参考訳（メタデータ） (2025-05-13T22:39:24Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Method-of-Moments Inference for GLMs and Doubly Robust Functionals under Proportional Asymptotics [30.324051162373973]
  高次元一般化線形モデル(GLM)における回帰係数と信号対雑音比の推定について考察する。 我々は、推論対象の一貫性と漸近的正規性(CAN)推定を導出する。 理論的結果を数値実験と既存文献との比較で補完する。
  論文  参考訳（メタデータ） (2024-08-12T12:43:30Z)
• Efficient and Sharp Off-Policy Evaluation in Robust Markov Decision Processes [44.974100402600165]
  意思決定プロセス(MDP)に対する最良パラメトリックかつ最悪の摂動の評価について検討する。 我々は、元のMDPからの遷移観測を用いて、それらが同一または異なるポリシーの下で生成されるかのどちらかを判断する。 我々の推定器はウォルドの信頼区間を用いた統計的推測も行う。
  論文  参考訳（メタデータ） (2024-03-29T18:11:49Z)
• Distribution Regression with Sliced Wasserstein Kernels [45.916342378789174]
  分布回帰のための最初のOTに基づく推定器を提案する。 このような表現に基づくカーネルリッジ回帰推定器の理論的性質について検討する。
  論文  参考訳（メタデータ） (2022-02-08T15:21:56Z)
• Entropy Minimizing Matrix Factorization [102.26446204624885]
  NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。 本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。 通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
  論文  参考訳（メタデータ） (2021-03-24T21:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。