論文の概要: On the connection between Noise-Contrastive Estimation and Contrastive Divergence

• arxiv url: http://arxiv.org/abs/2402.16688v1
• Date: Mon, 26 Feb 2024 16:04:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 20:10:21.065853
• Title: On the connection between Noise-Contrastive Estimation and Contrastive Divergence
• Title（参考訳）: ノイズ・コントラスト推定とコントラスト発散の関係について
• Authors: Amanda Olmin, Jakob Lindqvist, Lennart Svensson, Fredrik Lindsten
• Abstract要約: ノイズコントラスト推定(NCE)は、非正規化確率モデルを推定するための一般的な手法である。 NCEと条件付きNCEの2つの基準をML推定法とみなすことができる。
• 参考スコア（独自算出の注目度）: 13.312007032203859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Noise-contrastive estimation (NCE) is a popular method for estimating unnormalised probabilistic models, such as energy-based models, which are effective for modelling complex data distributions. Unlike classical maximum likelihood (ML) estimation that relies on importance sampling (resulting in ML-IS) or MCMC (resulting in contrastive divergence, CD), NCE uses a proxy criterion to avoid the need for evaluating an often intractable normalisation constant. Despite apparent conceptual differences, we show that two NCE criteria, ranking NCE (RNCE) and conditional NCE (CNCE), can be viewed as ML estimation methods. Specifically, RNCE is equivalent to ML estimation combined with conditional importance sampling, and both RNCE and CNCE are special cases of CD. These findings bridge the gap between the two method classes and allow us to apply techniques from the ML-IS and CD literature to NCE, offering several advantageous extensions.
• Abstract（参考訳）: ノイズコントラスト推定(NCE)は、複雑なデータ分布のモデル化に有効なエネルギーベースモデルなどの非正規化確率モデルを推定するための一般的な手法である。 重要サンプリング(ML-ISで再帰する)やMCMC(CDで逆転する)に依存する古典的最大可能性推定とは異なり、NCEは、しばしば難解な正規化定数を評価する必要性を避けるためにプロキシ基準を使用する。 明らかに概念的な違いがあるにもかかわらず,2つの評価基準であるランキングnce (rnce) と条件nce (cnce) はml推定法と見なせる。 具体的には、RNCEはML推定と条件付き重要サンプリングの組み合わせであり、RNCEとCNCEはどちらもCDの特殊なケースである。 これらの知見は両者のギャップを埋め、ML-ISとCD文学の技法をNCEに適用し、いくつかの有利な拡張を提供する。

関連論文リスト

• Semiparametric inference for impulse response functions using double/debiased machine learning [49.1574468325115]
  本稿では,インパルス応答関数(IRF)に対する機械学習推定手法を提案する。 提案した推定器は、処理と結果変数の完全な非パラメトリック関係に依存することができ、柔軟な機械学習アプローチを用いてIRFを推定することができる。
  論文  参考訳（メタデータ） (2024-11-15T07:42:02Z)
• VISA: Variational Inference with Sequential Sample-Average Approximations [7.792333134503654]
  逐次サンプル平均近似(VISA)を用いた変分推論を提案する。 VISAは、サンプル平均近似を用いて、重要重み付きフォワード-KL変量推論を拡張する。 我々は,VISAが標準重み付きフォワードKL変分推定に匹敵する近似精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2024-03-14T14:20:22Z)
• Spectral Ranking Inferences based on General Multiway Comparisons [7.222667862159246]
  本研究では,2段階のスペクトル法により,最大近似エスタと同じバニラ効率が得られることを示す。 有効な2サンプルランク試験法が提案されたのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-08-05T16:31:32Z)
• A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond [0.9172870611255595]
  クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。 本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。 本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
  論文  参考訳（メタデータ） (2022-05-20T14:17:53Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Automatically Differentiable Random Coefficient Logistic Demand Estimation [0.0]
  本稿では, ランダム係数ロジスティック・デマンド(BLP)モデルを, 自動微分可能なモーメント関数として表現する方法を示す。 これにより、CUE(Continuously Updating Estimator)を用いた勾配に基づく周期性および準ベイズ推定が可能となる。 予備的な結果は、LTEと頻繁な最適化を用いて推定したCUEは、従来の2段階のGMM(2S-GMM)アプローチと比較して、より低いバイアスを持つが、MAEが高いことを示唆している。
  論文  参考訳（メタデータ） (2021-06-08T18:50:11Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。