Fugu-MT 論文翻訳(概要): Stochastic Stein Discrepancies

論文の概要: Stochastic Stein Discrepancies

arxiv url: http://arxiv.org/abs/2007.02857v4
Date: Thu, 22 Oct 2020 18:56:24 GMT
ステータス: 処理完了
システム内更新日: 2022-11-13 02:08:52.893488
Title: Stochastic Stein Discrepancies
Title（参考訳）: 確率的シュタインの不一致
Authors: Jackson Gorham, Anant Raj, Lester Mackey
Abstract要約: スタイン演算子の評価に費用がかかる場合、スタイン差分計算は禁じることができる。確率1の標準SDの収束制御特性をStein演算子のサブサンプリング近似に基づくStein差分(SSD)が継承することを示す。
参考スコア（独自算出の注目度）: 29.834557590747572
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Stein discrepancies (SDs) monitor convergence and non-convergence in approximate inference when exact integration and sampling are intractable. However, the computation of a Stein discrepancy can be prohibitive if the Stein operator - often a sum over likelihood terms or potentials - is expensive to evaluate. To address this deficiency, we show that stochastic Stein discrepancies (SSDs) based on subsampled approximations of the Stein operator inherit the convergence control properties of standard SDs with probability 1. Along the way, we establish the convergence of Stein variational gradient descent (SVGD) on unbounded domains, resolving an open question of Liu (2017). In our experiments with biased Markov chain Monte Carlo (MCMC) hyperparameter tuning, approximate MCMC sampler selection, and stochastic SVGD, SSDs deliver comparable inferences to standard SDs with orders of magnitude fewer likelihood evaluations.
Abstract（参考訳）: stein discrepancies (sds) は、正確な積分とサンプリングが難解な場合の近似推論における収束と非収束をモニターする。しかし、スタインの不一致の計算は、しばしば確率項やポテンシャルの和であるスタイン作用素が評価に費用がかかる場合、禁止される。この不足に対処するために、ステイン作用素のサブサンプリング近似に基づく確率的シュタイン差(ssd)が標準sdsの収束制御特性を確率 1 で継承することを示す。その過程で、非有界領域上のスタイン変分勾配降下(SVGD)の収束を確立し、Liu (2017) の開問題を解決する。偏りのあるマルコフ連鎖モンテカルロ(MCMC)ハイパーパラメータチューニング、近似MCMCサンプリング器選択、確率的SVGDによる実験では、SSDは標準SDに匹敵する推定を桁違いに少ない確率で行う。

関連論文リスト

SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity [70.32101198891465]
スコア蒸留における勾配推定は, 分散度が高いことが示唆された。本稿では,Stin Score Distillation (SSD) と呼ばれる,スコア蒸留の分散を低減するための,より一般的な解を提案する。我々はSteinDreamerがより安定した勾配更新により既存の方法よりも高速に収束できることを実証した。
論文参考訳（メタデータ） (2023-12-31T23:04:25Z)
Using Perturbation to Improve Goodness-of-Fit Tests based on Kernelized Stein Discrepancy [3.78967502155084]
Kernelized Stein discrepancy (KSD) は、良質なテストで広く使われているスコアベースの不一致である。我々は、KSD試験が、ターゲットと代替分布が同一の分離モードを持つが混合比が異なる場合、低出力に悩まされることを理論的かつ実証的に示す。
論文参考訳（メタデータ） (2023-04-28T11:13:18Z)
A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
論文参考訳（メタデータ） (2022-11-17T17:50:39Z)
Controlling Moments with Kernel Stein Discrepancies [74.82363458321939]
Kernel Steindisrepancies (KSD) は分布近似の品質を測定する。まず、弱収束制御に使用される標準KSDがモーメント収束制御に失敗することを示す。次に、代替拡散KSDがモーメントと弱収束の両方を制御できる十分な条件を提供する。
論文参考訳（メタデータ） (2022-11-10T08:24:52Z)
Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文参考訳（メタデータ） (2022-09-26T16:41:16Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Complexity Analysis of Stein Variational Gradient Descent Under Talagrand's Inequality T1 [12.848239550098697]
我々は、$pi(x) propto exp(-Fx)からサンプリングするアルゴリズムであるStein Variational Gradient Descent (SVGD)の複雑さについて検討する。我々の重要な仮定は、対象分布が不等式の不等式 T1 を満たすことである。
論文参考訳（メタデータ） (2021-06-06T09:51:32Z)
Kernel Stein Discrepancy Descent [16.47373844775953]
Kernel Stein Discrepancy (KSD) は近年注目されている。我々は、目標確率分布を$mathbbRd$上で近似するために、ワッサーシュタイン勾配流の特性について検討する。これにより、直接実装可能な決定論的スコアベースのメソッドが、$pi$、KSD Descentからサンプリングされる。
論文参考訳（メタデータ） (2021-05-20T19:05:23Z)
Stein Variational Gradient Descent: many-particle and long-time asymptotics [0.0]
スタイン変動勾配降下 (SVGD) は相互作用する粒子系に基づくベイズ推論の方法のクラスを指す。ステイン幾何学の余接空間構成を開発し,その基本的な性質を証明し,多粒子極限を規定する大退化汎関数を決定する。 Stein-Fisherの情報は、長期および多粒子体制における主要な注文貢献として識別されます。
論文参考訳（メタデータ） (2021-02-25T16:03:04Z)
Sliced Kernelized Stein Discrepancy [17.159499204595527]
Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
論文参考訳（メタデータ） (2020-06-30T04:58:55Z)
Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。