論文の概要: Word2vec Skip-gram Dimensionality Selection via Sequential Normalized
Maximum Likelihood
- arxiv url: http://arxiv.org/abs/2008.07720v3
- Date: Tue, 25 Aug 2020 01:08:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 20:38:11.569001
- Title: Word2vec Skip-gram Dimensionality Selection via Sequential Normalized
Maximum Likelihood
- Title（参考訳）: Word2vec Skip-gram 次元選択法
- Authors: Pham Thuc Hung, Kenji Yamanishi
- Abstract要約: 我々は2vec Skip-gram (SG) の次元性を選択するための新しい情報基準に基づくアプローチを提案する。
本稿では, 次元選択問題に対する次の情報基準について検討する: 赤池情報基準, ベイズ情報基準, SNML基準である。
単語埋め込みの他の評価手法と比較して,SNMLが選択した次元性は,単語類似性タスクや単語類似性タスクによって得られる最適な次元性にかなり近い。
- 参考スコア（独自算出の注目度）: 18.96912763708634
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a novel information criteria-based approach to
select the dimensionality of the word2vec Skip-gram (SG). From the perspective
of the probability theory, SG is considered as an implicit probability
distribution estimation under the assumption that there exists a true
contextual distribution among words. Therefore, we apply information criteria
with the aim of selecting the best dimensionality so that the corresponding
model can be as close as possible to the true distribution. We examine the
following information criteria for the dimensionality selection problem: the
Akaike Information Criterion, Bayesian Information Criterion, and Sequential
Normalized Maximum Likelihood (SNML) criterion. SNML is the total codelength
required for the sequential encoding of a data sequence on the basis of the
minimum description length. The proposed approach is applied to both the
original SG model and the SG Negative Sampling model to clarify the idea of
using information criteria. Additionally, as the original SNML suffers from
computational disadvantages, we introduce novel heuristics for its efficient
computation. Moreover, we empirically demonstrate that SNML outperforms both
BIC and AIC. In comparison with other evaluation methods for word embedding,
the dimensionality selected by SNML is significantly closer to the optimal
dimensionality obtained by word analogy or word similarity tasks.
- Abstract（参考訳）: 本稿では,2vec Skip-gram (SG) の次元性を選択するための新しい情報基準に基づく手法を提案する。
確率論の観点からは、sgは単語間の真の文脈分布が存在するという仮定の下で、暗黙の確率分布推定と見なされる。
そこで我々は,最良次元を選択する目的で情報基準を適用し,対応するモデルが可能な限り真の分布に近付くようにした。
次元選択問題に対する情報基準として,赤宅情報基準,ベイズ情報基準,逐次正規化最大度(snml)基準について検討した。
SNMLは、最小記述長に基づいて、データシーケンスのシーケンシャルエンコーディングに必要な総コード長である。
提案手法は,元のSGモデルとSG負サンプリングモデルの両方に適用し,情報基準を用いた考え方を明らかにする。
さらに,従来のSNMLは計算上の欠点に悩まされているため,計算の効率化に新たなヒューリスティックスを導入する。
さらに,SNMLがBICとAICの両方より優れていることを示す。
単語埋め込みの他の評価手法と比較して,SNMLが選択した次元は,単語類似性タスクや単語類似性タスクによって得られる最適次元にかなり近い。
関連論文リスト
- An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - Selecting the Number of Communities for Weighted Degree-Corrected Stochastic Block Models [5.117940794592611]
本研究では,重み付きネットワークのコミュニティ数を選択する方法を検討する。
本稿では, 平均隣接行列を標準DCSBMと同一にモデル化した新しい重み付き次数補正ブロックモデル(DCSBM)を提案する。
コミュニティ数を選択する方法は連続的なテストフレームワークに基づいており、各ステップで重み付けされたDCSBMをスペクトルクラスタリング法により取り付ける。
論文 参考訳（メタデータ） (2024-06-08T03:47:38Z) - Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳（メタデータ） (2024-03-11T05:35:38Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Anomaly Detection Under Uncertainty Using Distributionally Robust
Optimization Approach [0.9217021281095907]
異常検出は、大多数のパターンに従わないデータポイントを見つける問題として定義される。
1クラスのサポートベクトルマシン(SVM)メソッドは、通常のデータポイントと異常を区別するための決定境界を見つけることを目的としている。
誤分類の確率が低い分布的に頑健な確率制約モデルを提案する。
論文 参考訳（メタデータ） (2023-12-03T06:13:22Z) - Pseudo-Likelihood Inference [16.934708242852558]
Pseudo-Likelihood Inference (PLI)は、ABCに神経近似をもたらす新しい方法であり、ベイズシステムの識別に挑戦するタスクと競合する。
PLIは、勾配降下による神経後葉の最適化を可能にし、要約統計に頼らず、入力として複数の観察を可能にする。
PLIの有効性は、4つの古典的SBIベンチマークタスクと非常にダイナミックな物理システムで評価される。
論文 参考訳（メタデータ） (2023-11-28T10:17:52Z) - BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
非決定論的分布を前提とした新しい学習パラダイムを提案する。
提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
論文 参考訳（メタデータ） (2022-03-31T05:19:38Z) - The Power of Log-Sum-Exp: Sequential Density Ratio Matrix Estimation for
Speed-Accuracy Optimization [0.0]
本稿では,時系列のマルチクラス分類モデルを提案する。
早期分類のためのアーキテクチャ MSPRT-TANDEM は、4つのデータセットのベースラインモデルよりも統計的に有意に優れている。
論文 参考訳（メタデータ） (2021-05-28T07:21:58Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Probabilistic Optimal Transport based on Collective Graphical Models [38.49457447599772]
OT(Optimal Transport)は確率分布とヒストグラムの類似性を測定する強力なツールである。
本稿では,OTを確率的生成モデルの最大後部解(MAP)とみなす新しい枠組みを提案する。
論文 参考訳（メタデータ） (2020-06-16T02:03:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。