論文の概要: Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation

• arxiv url: http://arxiv.org/abs/2301.09696v1
• Date: Mon, 23 Jan 2023 19:57:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 14:57:40.627739
• Title: Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation
• Title（参考訳）: 自己指導型学習における騒音の最適化:重要度サンプリングからノイズコントラスト推定へ
• Authors: Omar Chehab and Alexandre Gramfort and Aapo Hyvarinen
• Abstract要約: GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
• 参考スコア（独自算出の注目度）: 80.07065346699005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning is an increasingly popular approach to unsupervised learning, achieving state-of-the-art results. A prevalent approach consists in contrasting data points and noise points within a classification task: this requires a good noise distribution which is notoriously hard to specify. While a comprehensive theory is missing, it is widely assumed that the optimal noise distribution should in practice be made equal to the data distribution, as in Generative Adversarial Networks (GANs). We here empirically and theoretically challenge this assumption. We turn to Noise-Contrastive Estimation (NCE) which grounds this self-supervised task as an estimation problem of an energy-based model of the data. This ties the optimality of the noise distribution to the sample efficiency of the estimator, which is rigorously defined as its asymptotic variance, or mean-squared error. In the special case where the normalization constant only is unknown, we show that NCE recovers a family of Importance Sampling estimators for which the optimal noise is indeed equal to the data distribution. However, in the general case where the energy is also unknown, we prove that the optimal noise density is the data density multiplied by a correction term based on the Fisher score. In particular, the optimal noise distribution is different from the data distribution, and is even from a different family. Nevertheless, we soberly conclude that the optimal noise may be hard to sample from, and the gain in efficiency can be modest compared to choosing the noise distribution equal to the data's.
• Abstract（参考訳）: 自己監督学習(self-supervised learning)は、教師なし学習(unsupervised learning)に対する、最先端の成果を達成するための、ますます一般的なアプローチである。 一般的なアプローチは、分類タスク内のデータポイントとノイズポイントの対比から成り立っている。 包括的理論が欠落している一方で、GAN(Generative Adversarial Networks)のように、最適な雑音分布をデータ分布と同等にすべきであると広く考えられている。 我々は経験的かつ理論的にこの仮定に挑戦する。 我々は,この自己教師付きタスクをエネルギーベースモデルの推定問題として根拠とするノイズコントラスト推定(nce)に目を向ける。 これにより、ノイズ分布の最適性は、漸近分散あるいは平均二乗誤差として厳密に定義される推定器のサンプル効率と結びついている。 正規化定数が不明な特別な場合において、nceは最適なノイズがデータ分布と実際に等しい重要なサンプリング推定器の族を回復することを示す。 しかし、エネルギーが未知の一般的な場合、最適な雑音密度はフィッシャースコアに基づく補正項によって乗算されたデータ密度であることが証明される。 特に、最適なノイズ分布は、データ分布と異なり、異なるファミリーである。 いずれにせよ,最適なノイズはサンプリングが困難である可能性があり,データに等しいノイズ分布を選択することに比べ,効率性の向上は緩やかである。

関連論文リスト

• Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
  学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。 我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
  論文  参考訳（メタデータ） (2023-12-15T02:26:35Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Pitfalls of Gaussians as a noise distribution in NCE [22.23473249312549]
  ノイズコントラスト推定(NCE)は,比例定数までパラメータ化された確率密度関数を学習するための一般的な手法である。 我々は、$q$の選択がNCEの計算効率と統計効率に大きな影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-10-01T04:42:56Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation [50.85788484752612]
  ノイズコントラスト推定(NCE)は、非正規化確率モデルを学習するための統計的に一貫した手法である。 ノイズ分布の選択がNCEの性能に不可欠であることが実験的に観察されている。 本研究では,不適切な雑音分布を用いた場合,NCEの性能低下の原因を正式に指摘する。
  論文  参考訳（メタデータ） (2021-10-21T16:57:45Z)
• PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Driven Adaptive Prior [103.00403682863427]
  条件拡散モデルの効率を改善するために, PreGrad を提案する。 PriorGradはデータとパラメータの効率を向上し、品質を向上する。
  論文  参考訳（メタデータ） (2021-06-11T14:04:03Z)
• Adaptive Multi-View ICA: Estimation of noise levels for optimal inference [65.94843987207445]
  Adaptive MultiView ICA (AVICA) はノイズの多いICAモデルであり、各ビューは共有された独立したソースと付加的なノイズの線形混合である。 AVICAは、その明示的なMMSE推定器により、他のICA法よりも優れたソース推定値が得られる。 実脳磁図(MEG)データでは,分解がサンプリングノイズに対する感度が低く,ノイズ分散推定が生物学的に妥当であることを示す。
  論文  参考訳（メタデータ） (2021-02-22T13:10:12Z)
• Denoising Score Matching with Random Fourier Features [11.60130641443281]
  Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。 得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
  論文  参考訳（メタデータ） (2021-01-13T18:02:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。