論文の概要: On SkipGram Word Embedding Models with Negative Sampling: Unified
Framework and Impact of Noise Distributions
- arxiv url: http://arxiv.org/abs/2009.04413v1
- Date: Wed, 2 Sep 2020 02:11:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 18:17:25.247043
- Title: On SkipGram Word Embedding Models with Negative Sampling: Unified
Framework and Impact of Noise Distributions
- Title(参考訳): 負サンプリングによるSkipGram単語埋め込みモデルについて:統一フレームワークと雑音分布の影響
- Authors: Ziqiao Wang, Yongyi Mao, Hongyu Guo, Richong Zhang
- Abstract要約: 我々はワードコンテキスト分類(WCC)と呼ばれる単語埋め込みの枠組みを定式化する。
WCC埋め込みモデルの学習に及ぼす雑音分布の影響を実験的に検討した。
既存のWCCモデルより優れている新しい埋め込みモデルをいくつか発見する。
- 参考スコア(独自算出の注目度): 47.83593080349749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: SkipGram word embedding models with negative sampling, or SGN in short, is an
elegant family of word embedding models. In this paper, we formulate a
framework for word embedding, referred to as Word-Context Classification (WCC),
that generalizes SGN to a wide family of models. The framework, utilizing some
"noise examples", is justified through a theoretical analysis. The impact of
noise distribution on the learning of the WCC embedding models is studied
experimentally, suggesting that the best noise distribution is in fact the data
distribution, in terms of both the embedding performance and the speed of
convergence during training. Along our way, we discover several novel embedding
models that outperform the existing WCC models.
- Abstract(参考訳): skipgram word embedded model with negative sampling, 略してsgn)は、単語埋め込みモデルのエレガントなファミリーである。
本稿では,SGNを多種多様なモデルに一般化する,ワードコンテキスト分類(Word-Context Classification, WCC)と呼ばれる単語埋め込みの枠組みを定式化する。
いくつかの「ノイズ例」を活用するこのフレームワークは、理論的分析によって正当化される。
WCC埋込みモデルの学習に及ぼすノイズ分布の影響を実験的に検討し, 組込み性能と学習時の収束速度の両面から, 最高のノイズ分布は実際にデータ分布であることが示唆された。
その過程で,既存のwccモデルに匹敵する新たな埋め込みモデルがいくつか発見される。
関連論文リスト
- An Interpretable Evaluation of Entropy-based Novelty of Generative
Models [40.78873195851798]
本研究は,マルチモーダル生成モデルに基づく新規性評価に焦点を当てた。
本稿では,カーネルベースのエントロピーノベルティ(KEN)スコアを提案し,分布のモードベースノベルティを定量化する。
以上の結果から,提案手法が新しいモードの検出に有効であること,および最先端の生成モデルとの比較が示唆された。
論文 参考訳(メタデータ) (2024-02-27T08:00:52Z) - Multi-Set Inoculation: Assessing Model Robustness Across Multiple
Challenge Sets [48.94926373895036]
本稿では,入力摂動が異なるスケールの言語モデルに与える影響を研究する枠組みを提案する。
一方の摂動への曝露が他の摂動に対するモデルの性能を向上させるか、劣化させるかを検討する。
提案手法は,与えられたデータセットの精度を損なうことなく,異なる摂動に頑健にモデルを訓練することを示す。
論文 参考訳(メタデータ) (2023-11-15T02:59:10Z) - Model-agnostic network inference enhancement from noisy measurements via
curriculum learning [14.670612989509465]
ノイズは実世界の計測データにおける広汎な要素であり、ネットワーク推論モデルの性能を損なう。
本稿では,ノイズの存在下でのネットワーク推論モデルの性能向上を目的とした,エレガントで効率的なフレームワークを提案する。
提案するフレームワークは,モデルに依存しない,シームレスにモデルベースおよびモデルフリーなネットワーク推論手法に組み込むことができる。
論文 参考訳(メタデータ) (2023-09-05T08:51:40Z) - Reduce, Reuse, Recycle: Compositional Generation with Energy-Based
Diffusion Models and MCMC [106.06185677214353]
拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。
本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。
これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
論文 参考訳(メタデータ) (2023-02-22T18:48:46Z) - Syntactically Robust Training on Partially-Observed Data for Open
Information Extraction [25.59133746149343]
オープン情報抽出モデルは十分な監督力を持った有望な結果を示している。
そこで本研究では,統語論的に頑健な学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-17T12:39:13Z) - On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。
我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文 参考訳(メタデータ) (2022-11-15T19:56:37Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Stochastic Aggregation in Graph Neural Networks [9.551282469099887]
グラフニューラルネットワーク(GNN)は、過スムージングおよび限られた電力識別を含む病理を発現する。
GNNsにおける集約のための統合フレームワーク(STAG)を提案する。そこでは、近隣からの集約プロセスにノイズが(適応的に)注入され、ノード埋め込みを形成する。
論文 参考訳(メタデータ) (2021-02-25T02:52:03Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳(メタデータ) (2020-10-18T16:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。