論文の概要: Provable benefits of annealing for estimating normalizing constants:
Importance Sampling, Noise-Contrastive Estimation, and beyond
- arxiv url: http://arxiv.org/abs/2310.03902v1
- Date: Thu, 5 Oct 2023 21:16:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 06:22:51.478668
- Title: Provable benefits of annealing for estimating normalizing constants:
Importance Sampling, Noise-Contrastive Estimation, and beyond
- Title（参考訳）: 正規化定数推定のためのアニーリングの有用性:重要度サンプリング、ノイズコントラスト推定など
- Authors: Omar Chehab, Aapo Hyvarinen, Andrej Risteski
- Abstract要約: 幾何経路を用いることで、指数関数から目標と提案の間の距離の関数への推定誤差が減少することを示す。
最適経路を効率的に近似する2段階推定器を提案する。
- 参考スコア（独自算出の注目度）: 24.86929310909572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research has developed several Monte Carlo methods for estimating the
normalization constant (partition function) based on the idea of annealing.
This means sampling successively from a path of distributions that interpolate
between a tractable "proposal" distribution and the unnormalized "target"
distribution. Prominent estimators in this family include annealed importance
sampling and annealed noise-contrastive estimation (NCE). Such methods hinge on
a number of design choices: which estimator to use, which path of distributions
to use and whether to use a path at all; so far, there is no definitive theory
on which choices are efficient. Here, we evaluate each design choice by the
asymptotic estimation error it produces. First, we show that using NCE is more
efficient than the importance sampling estimator, but in the limit of
infinitesimal path steps, the difference vanishes. Second, we find that using
the geometric path brings down the estimation error from an exponential to a
polynomial function of the parameter distance between the target and proposal
distributions. Third, we find that the arithmetic path, while rarely used, can
offer optimality properties over the universally-used geometric path. In fact,
in a particular limit, the optimal path is arithmetic. Based on this theory, we
finally propose a two-step estimator to approximate the optimal path in an
efficient way.
- Abstract（参考訳）: 近年の研究では、アニーリングのアイデアに基づいて正規化定数(分割関数)を推定するモンテカルロ法が開発されている。
これは、トラクタブルな「固有」分布と非正規化された「ターゲット」分布とを補間する分布の経路から連続的にサンプリングすることを意味する。
このファミリーの著名な推定者は、アニールの重要性のサンプリングとアニールされたノイズコントラスト推定 (nce) である。
このような手法は、どの推定器を使うか、どの分布の経路を使うか、どの経路を使うか、といった多くの設計上の選択に依存している。
本稿では,その設計選択を漸近的推定誤差によって評価する。
まず,NCE の使用はサンプリングの重要度よりも効率的であることを示すが,無限小経路ステップの制限により差は消える。
第2に,幾何学的経路を用いることで,指数関数から対象と提案分布との間のパラメータ距離の多項式関数への推定誤差を低減できることがわかった。
第3に、算術パスはめったに使われないが、普遍的に使用される幾何学パス上で最適性を提供することができる。
実際、特定の極限において、最適経路は算術である。
この理論に基づいて,最適経路を効率的に近似する2段階推定器を提案する。
関連論文リスト
- A Practical Diffusion Path for Sampling [8.174664278172367]
拡散モデルは生成モデルにおいてランゲヴィン過程を導くスコアベクトルを推定するために用いられる。
従来のアプローチはモンテカルロ推定器に依存しており、計算的に計算量が多いか、サンプル非効率である。
そこで我々は,いわゆる拡張経路に依存して,クローズド形式で利用可能なスコアベクトルを生成する,計算的に魅力的な代替案を提案する。
論文 参考訳（メタデータ） (2024-06-20T07:00:56Z) - Sliced Wasserstein with Random-Path Projecting Directions [49.802024788196434]
本稿では,モンテカルロ予想推定のための高速サンプリングを行う最適化自由スライシング分布を提案する。
我々はランダムパススライシング分布(RPSD)とスライスされたワッサースタインの2つの変種、すなわちランダムパススライシングワッサースタイン(RPSW)とIWRPSW(Importance Weighted Random-Path Projection Sliced Wasserstein)を導出する。
論文 参考訳（メタデータ） (2024-01-29T04:59:30Z) - On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。
スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。
この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文 参考訳（メタデータ） (2023-11-22T18:40:45Z) - Positive definite nonparametric regression using an evolutionary
algorithm with application to covariance function estimation [0.0]
定常過程の共分散関数を推定するための新しい非パラメトリック回帰フレームワークを提案する。
提案手法は, 正定性, 等方性, 単調性を推定者に課すことができる。
提案手法は,長距離依存に対する信頼性の高い推定値を提供する。
論文 参考訳（メタデータ） (2023-04-25T22:01:14Z) - Near-optimal estimation of smooth transport maps with kernel
sums-of-squares [81.02564078640275]
滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。
生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。
そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-03T13:45:36Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Entropic estimation of optimal transport maps [15.685006881635209]
厳密な有限サンプル保証付き$mathbbRd$上の2つの分布間の最適写像を推定する手法を開発する。
我々は,Sinkhornのアルゴリズムを用いて,推定器の計算が容易であることを示す。
論文 参考訳（メタデータ） (2021-09-24T14:57:26Z) - q-Paths: Generalizing the Geometric Annealing Path using Power Means [51.73925445218366]
我々は、幾何学と算術の混合を特別なケースとして含むパスのファミリーである$q$-pathsを紹介した。
幾何経路から離れた小さな偏差がベイズ推定に経験的利得をもたらすことを示す。
論文 参考訳（メタデータ） (2021-07-01T21:09:06Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳（メタデータ） (2020-11-08T17:09:37Z) - The estimation error of general first order methods [12.472245917779754]
我々は,高次元回帰と低次元行列推定という2種類の推定問題を考察する。
我々は、観測数とパラメータ数の両方が分岐する高次元最適値の誤差を下界に導出する。
これらの下界は、推定誤差が下界とわずかに無視可能な項に一致するアルゴリズムが存在することを意味している。
論文 参考訳（メタデータ） (2020-02-28T18:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。