論文の概要: q-Paths: Generalizing the Geometric Annealing Path using Power Means
- arxiv url: http://arxiv.org/abs/2107.00745v1
- Date: Thu, 1 Jul 2021 21:09:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-06 04:05:26.290925
- Title: q-Paths: Generalizing the Geometric Annealing Path using Power Means
- Title（参考訳）: qパス:パワー手段を用いた幾何学的アニーリングパスの一般化
- Authors: Vaden Masrani, Rob Brekelmans, Thang Bui, Frank Nielsen, Aram
Galstyan, Greg Ver Steeg, Frank Wood
- Abstract要約: 我々は、幾何学と算術の混合を特別なケースとして含むパスのファミリーである$q$-pathsを紹介した。
幾何経路から離れた小さな偏差がベイズ推定に経験的利得をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 51.73925445218366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many common machine learning methods involve the geometric annealing path, a
sequence of intermediate densities between two distributions of interest
constructed using the geometric average. While alternatives such as the
moment-averaging path have demonstrated performance gains in some settings,
their practical applicability remains limited by exponential family endpoint
assumptions and a lack of closed form energy function. In this work, we
introduce $q$-paths, a family of paths which is derived from a generalized
notion of the mean, includes the geometric and arithmetic mixtures as special
cases, and admits a simple closed form involving the deformed logarithm
function from nonextensive thermodynamics. Following previous analysis of the
geometric path, we interpret our $q$-paths as corresponding to a
$q$-exponential family of distributions, and provide a variational
representation of intermediate densities as minimizing a mixture of
$\alpha$-divergences to the endpoints. We show that small deviations away from
the geometric path yield empirical gains for Bayesian inference using
Sequential Monte Carlo and generative model evaluation using Annealed
Importance Sampling.
- Abstract（参考訳）: 多くの一般的な機械学習手法は、幾何学平均を用いて構築された2つの興味の分布の間の中間密度の列である幾何学的アニーリングパスを含む。
モーメント・アラグリング・パスのような代替手段はいくつかの設定で性能向上を示すが、その実用性は指数関数的な家族の終端仮定と閉形式エネルギー関数の欠如によって制限されている。
本研究では,平均の一般化概念から派生したパス群である$q$-pathsを導入し,幾何学的および算術的混合を特殊な場合として含み,非指数熱力学から変形対数関数を包含する単純な閉形式を認める。
幾何学的経路の以前の分析に続いて、我々は、q$-pathsを$q$-exponential family of distributionsに対応するものと解釈し、$\alpha$-divergences とエンドポイントとの混合を最小化するように中間密度の変分表現を提供する。
幾何経路からの小さな偏差は,シーケンシャルモンテカルロを用いたベイズ推定とアニール化重要サンプリングを用いた生成モデル評価に経験的利益をもたらす。
関連論文リスト
- A Stein Gradient Descent Approach for Doubly Intractable Distributions [5.63014864822787]
そこで本研究では,2重に抽出可能な分布を推定するために,モンテカルロ・スタイン変分勾配勾配(MC-SVGD)法を提案する。
提案手法は,後続分布に匹敵する推論性能を提供しながら,既存のアルゴリズムよりもかなりの計算ゲインを達成する。
論文 参考訳（メタデータ） (2024-10-28T13:42:27Z) - von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。
最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。
我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
論文 参考訳（メタデータ） (2024-04-19T06:24:22Z) - Provable benefits of annealing for estimating normalizing constants:
Importance Sampling, Noise-Contrastive Estimation, and beyond [24.86929310909572]
幾何経路を用いることで、指数関数から目標と提案の間の距離の関数への推定誤差が減少することを示す。
最適経路を効率的に近似する2段階推定器を提案する。
論文 参考訳（メタデータ） (2023-10-05T21:16:55Z) - Stability of Entropic Wasserstein Barycenters and application to random
geometric graphs [8.7314407902481]
ワッサーシュタイン・バリーセンタ(Wasserstein Barycenters、WB)は、最適輸送の理論に由来するバリーセンタの概念である。
離散化されたメッシュ上のWBが基底多様体の幾何学とどのように関係するかを示す。
論文 参考訳（メタデータ） (2022-10-19T13:17:03Z) - Variational Representations of Annealing Paths: Bregman Information
under Monotonic Embedding [12.020235141059992]
算術平均は、予想されるブレグマン偏差を1つの代表点に最小化することを示す。
本分析では, 準算術的手段, パラメトリック・ファミリー, 発散関数の相互作用に注目した。
論文 参考訳（メタデータ） (2022-09-15T17:22:04Z) - An application of the splitting-up method for the computation of a
neural network representation for the solution for the filtering equations [68.8204255655161]
フィルタ方程式は、数値天気予報、金融、工学など、多くの現実の応用において中心的な役割を果たす。
フィルタリング方程式の解を近似する古典的なアプローチの1つは、分割法と呼ばれるPDEにインスパイアされた方法を使うことである。
我々はこの手法をニューラルネットワーク表現と組み合わせて、信号プロセスの非正規化条件分布の近似を生成する。
論文 参考訳（メタデータ） (2022-01-10T11:01:36Z) - Annealed Importance Sampling with q-Paths [51.73925445218365]
annealed importance sampling (ais) は分割関数や限界確率を推定するためのゴールド標準である。
既存の文献は、主に指数関数族とkl分岐に関連する幾何学的混合あるいはモーメント平均経路に制限されている。
q$-paths(特別な場合として幾何経路を含む)を用いてaiを探索し、均質なパワー平均、変形した指数関数族、および$alpha$-divergenceと関連づける。
論文 参考訳（メタデータ） (2020-12-14T18:57:05Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳（メタデータ） (2020-11-08T17:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。