論文の概要: Smoothness Analysis for Probabilistic Programs with Application to Optimised Variational Inference

• arxiv url: http://arxiv.org/abs/2208.10530v1
• Date: Mon, 22 Aug 2022 18:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 13:55:03.552950
• Title: Smoothness Analysis for Probabilistic Programs with Application to Optimised Variational Inference
• Title（参考訳）: 確率的プログラムの滑らか性解析と最適変分推論への応用
• Authors: Wonyeol Lee, Xavier Rival, Hongseok Yang
• Abstract要約: 与えられた確率プログラムの微分可能あるいはより一般に滑らかな部分を発見するための静的解析法を提案する。 解析が経路勾配推定器の改善にどのように役立つかを示す。
• 参考スコア（独自算出の注目度）: 13.836565669337057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a static analysis for discovering differentiable or more generally smooth parts of a given probabilistic program, and show how the analysis can be used to improve the pathwise gradient estimator, one of the most popular methods for posterior inference and model learning. Our improvement increases the scope of the estimator from differentiable models to non-differentiable ones without requiring manual intervention of the user; the improved estimator automatically identifies differentiable parts of a given probabilistic program using our static analysis, and applies the pathwise gradient estimator to the identified parts while using a more general but less efficient estimator, called score estimator, for the rest of the program. Our analysis has a surprisingly subtle soundness argument, partly due to the misbehaviours of some target smoothness properties when viewed from the perspective of program analysis designers. For instance, some smoothness properties are not preserved by function composition, and this makes it difficult to analyse sequential composition soundly without heavily sacrificing precision. We formulate five assumptions on a target smoothness property, prove the soundness of our analysis under those assumptions, and show that our leading examples satisfy these assumptions. We also show that by using information from our analysis, our improved gradient estimator satisfies an important differentiability requirement and thus, under a mild regularity condition, computes the correct estimate on average, i.e., it returns an unbiased estimate. Our experiments with representative probabilistic programs in the Pyro language show that our static analysis is capable of identifying smooth parts of those programs accurately, and making our improved pathwise gradient estimator exploit all the opportunities for high performance in those programs.
• Abstract（参考訳）: 本稿では,与えられた確率プログラムの微分可能,あるいはより一般的に滑らかな部分を探索するための静的解析を行い,後進推論およびモデル学習の最も一般的な方法の一つであるパスワイズ勾配推定器(pathwise gradient estimator)の改善にその解析がどのように役立つかを示す。 改良された推定器は、静的解析を用いて、与えられた確率的プログラムの微分可能部分を自動で識別し、より汎用的で効率の低い推定器(スコア推定器)をプログラムの残りに使用しながら、同定された部分にパスワイズ勾配推定器を適用する。 プログラム解析設計者の視点から見た場合, 対象の滑らかさ特性の誤動作が原因として, 驚くほど微妙な音響性論がある。 例えば、いくつかの滑らかさ特性は関数合成では保存されないため、精度を犠牲にすることなくシーケンシャル合成を適切に分析することは困難である。 対象の滑らか性に関する5つの仮定を定式化し、これらの仮定に基づいて解析の健全性を証明し、主要な例がこれらの仮定を満たすことを示す。 また, 解析から得られた情報を用いて, 改良した勾配推定器は, 重要な微分可能性要件を満たし, 穏やかな正規性条件下では, 平均値, すなわち偏りのない推定値を算出できることを示した。 pyro言語における代表的な確率的プログラムを用いた実験では、静的解析によってプログラムの滑らかな部分を正確に識別でき、パスワイズ勾配推定器を改良することで、プログラムの高性能化の機会をすべて活用できることを示した。

関連論文リスト

• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
  偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。 適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:17:36Z)
• Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization [0.6906005491572401]
  バッチ降下勾配 (SGD) における雑音は, 目的関数の平滑化の効果を示す。 我々は,学習率とバッチサイズによってスムース化の度合いが変化する新しい累積最適化アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2023-11-15T07:27:40Z)
• A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
  本稿では,確率変数の尾を解析するための体系的アプローチを提案する。 本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。 実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
  論文  参考訳（メタデータ） (2023-06-15T16:37:36Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Variance Reduction for Score Functions Using Optimal Baselines [0.0]
  本稿では,スコア関数の分散化手法であるベースラインについて検討する。 主に強化学習によって動機付けされ、最適な状態依存ベースラインの表現が初めて導かれる。
  論文  参考訳（メタデータ） (2022-12-27T19:17:28Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。