Fugu-MT 論文翻訳(概要): Fully Variational Noise-Contrastive Estimation

論文の概要: Fully Variational Noise-Contrastive Estimation

arxiv url: http://arxiv.org/abs/2304.02473v1
Date: Tue, 4 Apr 2023 09:42:20 GMT
ステータス: 処理完了
システム内更新日: 2023-04-06 12:23:55.521405
Title: Fully Variational Noise-Contrastive Estimation
Title（参考訳）: 完全変動雑音-スペクトル推定
Authors: Christopher Zach
Abstract要約: 我々は、潜在変数モデルに対してトラクタブルなノイズコントラスト推定(NCE)手法のファミリーを設計する。完全変分NCE対象のこの家系における他の事例について考察し、その経験的行動の違いを示す。
参考スコア（独自算出の注目度）: 17.89437720094451
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: By using the underlying theory of proper scoring rules, we design a family of noise-contrastive estimation (NCE) methods that are tractable for latent variable models. Both terms in the underlying NCE loss, the one using data samples and the one using noise samples, can be lower-bounded as in variational Bayes, therefore we call this family of losses fully variational noise-contrastive estimation. Variational autoencoders are a particular example in this family and therefore can be also understood as separating real data from synthetic samples using an appropriate classification loss. We further discuss other instances in this family of fully variational NCE objectives and indicate differences in their empirical behavior.
Abstract（参考訳）: 適切なスコアリングルールの根底にある理論を用いて、潜時変量モデルに対してトラクタブルなノイズコントラスト推定(NCE)手法のファミリーを設計する。基礎となるNCE損失の項とデータサンプルの項とノイズサンプルの項の両方を、変分ベイズのような低境界にすることができるので、この損失を完全変分ノイズコントラスト推定と呼ぶ。変分オートエンコーダは、このファミリーの特定の例であり、適切な分類損失を用いて実データを合成サンプルから分離するものとしても理解することができる。完全変動型NCE対象のこの家系における他の事例についても議論し、その経験的行動の違いを示す。

関連論文リスト

Noise-Aware Differentially Private Variational Inference [5.4619385369457225]
差分プライバシー(DP)は統計的推測に対して堅牢なプライバシー保証を提供するが、これは下流アプリケーションにおいて信頼性の低い結果とバイアスをもたらす可能性がある。勾配変動推定に基づく雑音を考慮した近似ベイズ推定法を提案する。また,より正確な雑音認識後部評価手法を提案する。
論文参考訳（メタデータ） (2024-10-25T08:18:49Z)
Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
論文参考訳（メタデータ） (2023-12-15T02:26:35Z)
Logistic-Normal Likelihoods for Heteroscedastic Label Noise [6.947162493996924]
回帰における異方性ラベルノイズを推定する自然な方法は、観測された(潜在的にノイズの多い)ターゲットを正規分布からサンプルとしてモデル化することである。我々は、同じ望ましい損失減衰特性を持つ分類に対する、この単純で確率的なアプローチの拡張を提案する。
論文参考訳（メタデータ） (2023-04-06T03:45:07Z)
Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
論文参考訳（メタデータ） (2023-04-01T14:09:07Z)
Towards Inferential Reproducibility of Machine Learning Research [16.223631948455797]
非決定性のいくつかの源は測定ノイズとみなすことができる。研究結果の無視を強制するためにノイズを取り除く傾向は、実装レベルでは非決定論的である。本稿では,データ特性との相互作用を含む分散の源泉を,機械学習評価の重要度と信頼性の分析に組み入れることを提案する。
論文参考訳（メタデータ） (2023-02-08T13:47:00Z)
On Robust Learning from Noisy Labels: A Permutation Layer Approach [53.798757734297986]
本稿では、深層ニューラルネットワーク(DNN)のトレーニング過程を動的に校正するPermLLと呼ばれる置換層学習手法を提案する。本稿では,PermLLの2つの変種について述べる。一方はモデルの予測に置換層を適用し,他方は与えられた雑音ラベルに直接適用する。我々はPermLLを実験的に検証し、実際のデータセットと合成データセットの両方で最先端のパフォーマンスを実現することを示す。
論文参考訳（メタデータ） (2022-11-29T03:01:48Z)
Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文参考訳（メタデータ） (2022-03-29T13:07:53Z)
Denoising Likelihood Score Matching for Conditional Score-based Data Generation [22.751924447125955]
そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
論文参考訳（メタデータ） (2022-03-27T04:37:54Z)
The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文参考訳（メタデータ） (2022-03-02T13:59:20Z)
Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文参考訳（メタデータ） (2020-12-16T04:09:04Z)
Confidence Scores Make Instance-dependent Label-noise Learning Possible [129.84497190791103]
ノイズのあるラベルで学習する際、そのラベルはノイズモデルと呼ばれる遷移分布に従ってランダムに他のクラスに移動することができる。我々は、各インスタンスラベル対に信頼スコアを付与する、信頼スコア付きインスタンス依存ノイズ(CSIDN)を導入する。信頼性スコアの助けを借りて、各インスタンスの遷移分布を推定できる。
論文参考訳（メタデータ） (2020-01-11T16:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。