論文の概要: Learning and Inference in Imaginary Noise Models
- arxiv url: http://arxiv.org/abs/2005.09047v3
- Date: Fri, 5 Jun 2020 20:05:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 23:03:59.561038
- Title: Learning and Inference in Imaginary Noise Models
- Title(参考訳): 虚騒音モデルにおける学習と推論
- Authors: Saeed Saremi
- Abstract要約: スムースな変分推論の概念は、デコーダのノイズモデルによってスムース化が暗黙的に強制されるときに現れる。
これは仮想ノイズモデルの概念であり、ノイズモデルは変分下界$mathcalL(sigma)$の関数形式を規定するが、ノイズデータは学習中に見ることはできない。
我々は、学習モデルに対して$mathcalD_rm KL sim sigma-nu$という興味深い電力法を報告し、未知ノイズに対する$sigma$-VAEの推論について検討する。
- 参考スコア(独自算出の注目度): 1.599072005190786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inspired by recent developments in learning smoothed densities with empirical
Bayes, we study variational autoencoders with a decoder that is tailored for
the random variable $Y=X+N(0,\sigma^2 I_d)$. A notion of smoothed variational
inference emerges where the smoothing is implicitly enforced by the noise model
of the decoder; "implicit", since during training the encoder only sees clean
samples. This is the concept of imaginary noise model, where the noise model
dictates the functional form of the variational lower bound
$\mathcal{L}(\sigma)$, but the noisy data are never seen during learning. The
model is named $\sigma$-VAE. We prove that all $\sigma$-VAEs are equivalent to
each other via a simple $\beta$-VAE expansion: $\mathcal{L}(\sigma_2) \equiv
\mathcal{L}(\sigma_1,\beta)$, where $\beta=\sigma_2^2/\sigma_1^2$. We prove a
similar result for the Laplace distribution in exponential families.
Empirically, we report an intriguing power law $\mathcal{D}_{\rm KL} \sim
\sigma^{-\nu}$ for the learned models and we study the inference in the
$\sigma$-VAE for unseen noisy data. The experiments were performed on MNIST,
where we show that quite remarkably the model can make reasonable inferences on
extremely noisy samples even though it has not seen any during training. The
vanilla VAE completely breaks down in this regime. We finish with a hypothesis
(the XYZ hypothesis) on the findings here.
- Abstract(参考訳): 経験ベイズを用いたスムース密度学習の最近の進展に触発されて,確率変数 $y=x+n(0,\sigma^2 i_d)$ に対応するデコーダを用いた変分オートエンコーダの研究を行った。
スムーズな変分推論の概念は、デコーダのノイズモデルによってスムーズ化が暗黙的に強制されるときに現れる。
これは虚ノイズモデルの概念であり、ノイズモデルは変分下限 $\mathcal{l}(\sigma)$ の機能形式を決定するが、ノイズデータが学習中に現れることはない。
モデルは$\sigma$-VAEと名付けられた。
すべての$\sigma$-VAEsが、単純な$\beta$-VAE拡張によって互いに等価であることを証明する: $\mathcal{L}(\sigma_2) \equiv \mathcal{L}(\sigma_1,\beta)$。
指数族におけるラプラス分布についても同様の結果を示す。
経験的に、学習モデルに対して$\mathcal{D}_{\rm KL} \sim \sigma^{-\nu}$の興味深いパワー則を報告し、未知のノイズデータに対して$\sigma$-VAEの推論について検討する。
実験はMNISTで行われ、トレーニング中に何も見ていないにもかかわらず、非常にノイズの多いサンプルに対して極めて合理的な推測ができることを示した。
バニラVAEはこの体制で完全に崩壊する。
ここでは、この結果に関する仮説(XYZ仮説)を仕上げる。
関連論文リスト
- Sharp Rates in Dependent Learning Theory: Avoiding Sample Size Deflation for the Square Loss [33.18537822803389]
L2$ と $Psi_p$ の位相が我々の仮説クラス $mathscrF$, $mathscrF$ に同値であるときにいつでも、$mathscrF$ は弱準ガウス類であることを示す。
以上の結果から, 混合への直接的な依存は高次項に還元されるため, この問題は実現可能か否かを判断できる。
論文 参考訳(メタデータ) (2024-02-08T18:57:42Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳(メタデータ) (2023-06-26T17:13:31Z) - Mean Estimation in High-Dimensional Binary Markov Gaussian Mixture
Models [12.746888269949407]
2進隠れマルコフモデルに対する高次元平均推定問題を考える。
ほぼ最小限の誤差率(対数係数まで)を $|theta_*|,delta,d,n$ の関数として確立する。
論文 参考訳(メタデータ) (2022-06-06T09:34:04Z) - Structure Learning in Graphical Models from Indirect Observations [17.521712510832558]
本稿では、パラメータ法と非パラメトリック法の両方を用いて、Rp$における$p$次元ランダムベクトル$Xのグラフィカル構造を学習する。
温和な条件下では、グラフ構造推定器が正しい構造を得ることができることを示す。
論文 参考訳(メタデータ) (2022-05-06T19:24:44Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳(メタデータ) (2022-03-18T18:50:52Z) - Noise Regularizes Over-parameterized Rank One Matrix Recovery, Provably [42.427869499882206]
階数 1 の行列 $Y*$ by $XXtop$ をパラメータ化します。
次に,2乗損失関数を用いたランダムな摂動勾配降下法により得られた推定値の平均2乗誤差が$O(sigma2/d)$であることを示す。
対照的に、ランダムな摂動を伴わない勾配降下から得られる推定器は、平均2乗誤差が$O(sigma2)$となる。
論文 参考訳(メタデータ) (2022-02-07T21:53:51Z) - Multimeasurement Generative Models [7.502947376736449]
我々は、密度$p_X$ in $mathbbRd$を未知分布からサンプリングする問題を学習とサンプリングの問題を$p_mathbfY$ in $mathbbRMd$とする。
論文 参考訳(メタデータ) (2021-12-18T02:11:36Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳(メタデータ) (2020-12-31T18:24:41Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳(メタデータ) (2020-05-29T07:20:35Z) - Neural Bayes: A Generic Parameterization Method for Unsupervised
Representation Learning [175.34232468746245]
本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。
これは一般に計算が難しい統計量の計算を可能にする。
このパラメータ化のための2つの独立したユースケースを示す。
論文 参考訳(メタデータ) (2020-02-20T22:28:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。