論文の概要: Pitfalls of Gaussians as a noise distribution in NCE

• arxiv url: http://arxiv.org/abs/2210.00189v1
• Date: Sat, 1 Oct 2022 04:42:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 13:56:53.711921
• Title: Pitfalls of Gaussians as a noise distribution in NCE
• Title（参考訳）: NCEにおけるノイズ分布としてのガウスの落とし穴
• Authors: Holden Lee, Chirag Pabbaraju, Anish Sevekari, Andrej Risteski
• Abstract要約: ノイズコントラスト推定(NCE)は,比例定数までパラメータ化された確率密度関数を学習するための一般的な手法である。 我々は、$q$の選択がNCEの計算効率と統計効率に大きな影響を及ぼすことを示した。
• 参考スコア（独自算出の注目度）: 22.23473249312549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noise Contrastive Estimation (NCE) is a popular approach for learning probability density functions parameterized up to a constant of proportionality. The main idea is to design a classification problem for distinguishing training data from samples from an easy-to-sample noise distribution $q$, in a manner that avoids having to calculate a partition function. It is well-known that the choice of $q$ can severely impact the computational and statistical efficiency of NCE. In practice, a common choice for $q$ is a Gaussian which matches the mean and covariance of the data. In this paper, we show that such a choice can result in an exponentially bad (in the ambient dimension) conditioning of the Hessian of the loss, even for very simple data distributions. As a consequence, both the statistical and algorithmic complexity for such a choice of $q$ will be problematic in practice, suggesting that more complex noise distributions are essential to the success of NCE.
• Abstract（参考訳）: ノイズコントラスト推定(NCE)は,比例定数までパラメータ化された確率密度関数を学習するための一般的な手法である。 主なアイデアは、サンプルからトレーニングデータを区別するための分類問題と、分割関数の計算を回避して、簡単にサンプルできるノイズ分散$q$を設計することである。 q$の選択がNCEの計算効率と統計効率に大きな影響を与えることはよく知られている。 実際には、$q$ の共通の選択は、データの平均と共分散と一致するガウスである。 本稿では、そのような選択が、非常に単純なデータ分布であっても、Hessianの損失を指数的に悪い(環境次元における)条件にすることができることを示す。 結果として、$q$の選択の統計的およびアルゴリズム的な複雑さは、実際には問題となり、より複雑なノイズ分布がNCEの成功に不可欠であることが示唆される。

関連論文リスト

• Some Constructions of Private, Efficient, and Optimal $K$-Norm and Elliptic Gaussian Noise [54.34628844260993]
  微分プライベートな計算は、しばしば$d$次元統計学の感度に束縛されて始まる。 純粋な微分プライバシーのために、$K$-normメカニズムは統計学の感度空間に合わせた規範を用いてこのアプローチを改善することができる。 本稿では,総和,数,投票の単純な統計量について両問題を解く。
  論文  参考訳（メタデータ） (2023-09-27T17:09:36Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Subspace Recovery from Heterogeneous Data with Non-isotropic Noise [43.44371292901258]
  この問題の基本的な定式化について研究する:主成分分析(PCA) 私たちの目標は、すべてのユーザからのデータポイントを使用して、$mu_i$で共有される線形部分空間を復元することです。 非球面およびユーザ依存雑音下で効率よく計算可能な推定器を設計する。
  論文  参考訳（メタデータ） (2022-10-24T18:00:08Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation [50.85788484752612]
  ノイズコントラスト推定(NCE)は、非正規化確率モデルを学習するための統計的に一貫した手法である。 ノイズ分布の選択がNCEの性能に不可欠であることが実験的に観察されている。 本研究では,不適切な雑音分布を用いた場合,NCEの性能低下の原因を正式に指摘する。
  論文  参考訳（メタデータ） (2021-10-21T16:57:45Z)
• Denoising Score Matching with Random Fourier Features [11.60130641443281]
  Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。 得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
  論文  参考訳（メタデータ） (2021-01-13T18:02:39Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)
• Multi-class Gaussian Process Classification with Noisy Inputs [2.362412515574206]
  いくつかの状況では、騒音の量は事前に知ることができる。 提案手法を,合成データと実データを含むいくつかの実験により評価した。
  論文  参考訳（メタデータ） (2020-01-28T18:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。