論文の概要: Flexible mean field variational inference using mixtures of
non-overlapping exponential families
- arxiv url: http://arxiv.org/abs/2010.06768v1
- Date: Wed, 14 Oct 2020 01:46:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 13:02:45.140442
- Title: Flexible mean field variational inference using mixtures of
non-overlapping exponential families
- Title（参考訳）: 非重複指数列の混合を用いたフレキシブル平均場変動推定
- Authors: Jeffrey P. Spence
- Abstract要約: 標準平均場変動推論を用いることで、疎性誘導前のモデルに対して妥当な結果が得られないことを示す。
拡散指数族と 0 の点質量の任意の混合が指数族を形成することを示す。
- 参考スコア（独自算出の注目度）: 6.599344783327053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse models are desirable for many applications across diverse domains as
they can perform automatic variable selection, aid interpretability, and
provide regularization. When fitting sparse models in a Bayesian framework,
however, analytically obtaining a posterior distribution over the parameters of
interest is intractable for all but the simplest cases. As a result
practitioners must rely on either sampling algorithms such as Markov chain
Monte Carlo or variational methods to obtain an approximate posterior. Mean
field variational inference is a particularly simple and popular framework that
is often amenable to analytically deriving closed-form parameter updates. When
all distributions in the model are members of exponential families and are
conditionally conjugate, optimization schemes can often be derived by hand.
Yet, I show that using standard mean field variational inference can fail to
produce sensible results for models with sparsity-inducing priors, such as the
spike-and-slab. Fortunately, such pathological behavior can be remedied as I
show that mixtures of exponential family distributions with non-overlapping
support form an exponential family. In particular, any mixture of a diffuse
exponential family and a point mass at zero to model sparsity forms an
exponential family. Furthermore, specific choices of these distributions
maintain conditional conjugacy. I use two applications to motivate these
results: one from statistical genetics that has connections to generalized
least squares with a spike-and-slab prior on the regression coefficients; and
sparse probabilistic principal component analysis. The theoretical results
presented here are broadly applicable beyond these two examples.
- Abstract（参考訳）: スパースモデルは、自動変数選択、支援解釈可能性、正規化を行うことができるため、様々なドメインにわたる多くのアプリケーションで望ましい。
しかし、ベイズフレームワークにスパースモデルを適用する場合、最も単純な場合を除いて、興味のあるパラメータの後方分布を解析的に得ることは不可能である。
結果として、実践者はマルコフ連鎖モンテカルロのようなサンプリングアルゴリズムや、近似的な後方を求める変分法に頼らなければならない。
平均場変動推論は特に単純で一般的なフレームワークであり、しばしばクローズドフォームパラメータの更新を解析的に導き出すことができる。
モデル内のすべての分布が指数族のメンバーであり、条件付き共役であるとき、最適化スキームはしばしば手で導かれる。
しかし, スパイク・アンド・スラブなどの疎性誘導前モデルに対して, 標準平均場変動推論を用いることで, 妥当な結果が得られないことを示す。
幸いなことに、指数的家族分布と非重複的なサポートの混合が指数的家族を形成することを示すように、そのような病理学的挙動を修復することができる。
特に、散在する指数関数族とゼロの点質量の混合により、スパーシティのモデル化は指数関数族を形成する。
さらに、これらの分布の特定の選択は条件付き共役性を維持する。
ひとつは回帰係数に先立ってスパイク・アンド・スラブで一般化された最小二乗に接続する統計遺伝学、もうひとつは確率的主成分分析である。
ここで示した理論的結果は、これら2つの例を越えて広く適用できる。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants [4.532043501030714]
マルコフ確率場を符号化する確率的グラフィカルモデルは、生成的モデリングの基本的な構成要素である。
本稿では,これらのモデルの全確率に基づく解析が,計算効率のよい方法で実現可能であることを示す。
論文 参考訳（メタデータ） (2024-04-27T02:58:22Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
本稿では,確率変数の尾を解析するための体系的アプローチを提案する。
本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。
実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
論文 参考訳（メタデータ） (2023-06-15T16:37:36Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳（メタデータ） (2021-12-02T14:45:16Z) - Estimating Linear Mixed Effects Models with Truncated Normally
Distributed Random Effects [5.4052819252055055]
ランダム効果の正規分布を仮定した場合、最大極大アプローチを用いて推論を行うことができる。
本稿では、古典的(制約のない)LMEモデルを拡張し、その全体係数の符号制約を許容する。
論文 参考訳（メタデータ） (2020-11-09T16:17:35Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。