論文の概要: A Heavy-Tailed Algebra for Probabilistic Programming
- arxiv url: http://arxiv.org/abs/2306.09262v1
- Date: Thu, 15 Jun 2023 16:37:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 13:58:50.465876
- Title: A Heavy-Tailed Algebra for Probabilistic Programming
- Title（参考訳）: 確率計画のための重り付き代数
- Authors: Feynman Liang, Liam Hodgkinson, Michael W. Mahoney
- Abstract要約: 本稿では,確率変数の尾を解析するための体系的アプローチを提案する。
本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。
実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
- 参考スコア（独自算出の注目度）: 53.32246823168763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the successes of probabilistic models based on passing noise through
neural networks, recent work has identified that such methods often fail to
capture tail behavior accurately, unless the tails of the base distribution are
appropriately calibrated. To overcome this deficiency, we propose a systematic
approach for analyzing the tails of random variables, and we illustrate how
this approach can be used during the static analysis (before drawing samples)
pass of a probabilistic programming language compiler. To characterize how the
tails change under various operations, we develop an algebra which acts on a
three-parameter family of tail asymptotics and which is based on the
generalized Gamma distribution. Our algebraic operations are closed under
addition and multiplication; they are capable of distinguishing sub-Gaussians
with differing scales; and they handle ratios sufficiently well to reproduce
the tails of most important statistical distributions directly from their
definitions. Our empirical results confirm that inference algorithms that
leverage our heavy-tailed algebra attain superior performance across a number
of density modeling and variational inference tasks.
- Abstract（参考訳）: ニューラルネットワークによるノイズ通過に基づく確率モデルの成功にもかかわらず、最近の研究では、ベース分布のテールが適切に調整されない限り、そのような手法がテールの挙動を正確に捉えることができないことが判明している。
この不足を克服するために,確率変数の尾部を系統的に解析する手法を提案し,確率的プログラミング言語コンパイラの静的解析(サンプルを描画する前に)パス中にこの手法をどのように利用できるかを示す。
様々な操作で尾がどう変化するかを特徴づけるために、一般化されたガンマ分布に基づく尾漸近系の3パラメータ族に作用する代数を開発する。
我々の代数的演算は加法と乗法の下で閉じており、それらは異なるスケールでガウス以下を区別することができ、それらの定義から直接最も重要な統計分布のテールを再現するのに十分な比率を処理できる。
実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
関連論文リスト
- Variational Elliptical Processes [1.5703073293718952]
本稿では,非パラメトリック確率モデルの一群である楕円過程と,学生の後続過程について述べる。
我々はこの混合分布をスプライン正規化フローとしてパラメータ化し、変分推論を用いて訓練する。
提案した変分後部の形状は,大規模な問題に適用可能なスパース変分楕円過程を可能にする。
論文 参考訳（メタデータ） (2023-11-21T12:26:14Z) - Robust Gaussian Process Regression with Huber Likelihood [2.7184224088243365]
本稿では,ハマー確率分布として表される観測データの可能性を考慮した,ガウス過程フレームワークにおけるロバストなプロセスモデルを提案する。
提案モデルでは、予測統計に基づく重みを用いて、残差を拡大し、潜伏関数推定における垂直外れ値と悪レバレッジ点の影響を限定する。
論文 参考訳（メタデータ） (2023-01-19T02:59:33Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-02T06:32:19Z) - Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic
Regression [51.770998056563094]
PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。
既存の最先端手法と比較してPGBMの利点を実証的に示す。
論文 参考訳（メタデータ） (2021-06-03T08:32:13Z) - Scalable Cross Validation Losses for Gaussian Process Models [22.204619587725208]
線形および多クラス分類に適応するために,Polya-Gamma補助変数と変分推論を用いる。
提案手法は,高速トレーニングと優れた予測性能を実現する。
論文 参考訳（メタデータ） (2021-05-24T21:01:47Z) - Flexible mean field variational inference using mixtures of
non-overlapping exponential families [6.599344783327053]
標準平均場変動推論を用いることで、疎性誘導前のモデルに対して妥当な結果が得られないことを示す。
拡散指数族と 0 の点質量の任意の混合が指数族を形成することを示す。
論文 参考訳（メタデータ） (2020-10-14T01:46:56Z) - A Class of Conjugate Priors for Multinomial Probit Models which Includes
the Multivariate Normal One [0.3553493344868413]
統一スキュー正規分布(SUN)のクラス全体は、複数の多重項プロビットモデルに共役していることを示す。
後部推論と分類のための最先端の解法を改善する。
論文 参考訳（メタデータ） (2020-07-14T10:08:23Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。