論文の概要: Densities of Almost Surely Terminating Probabilistic Programs are
Differentiable Almost Everywhere
- arxiv url: http://arxiv.org/abs/2004.03924v2
- Date: Mon, 21 Jun 2021 16:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 09:49:31.548623
- Title: Densities of Almost Surely Terminating Probabilistic Programs are
Differentiable Almost Everywhere
- Title(参考訳): ほぼ確実に終了する確率プログラムの密度は、ほぼ至るところで微分可能である
- Authors: Carol Mak, C.-H. Luke Ong, Hugo Paquet and Dominik Wagner
- Abstract要約: 再帰と条件付き高次統計確率プログラムの微分特性について検討する。
この研究の副産物は、実パラメータを持つほぼ確実に決定論的(S)PCFプログラムがほぼすべての微分可能性を持つ関数を表すことである。
- 参考スコア(独自算出の注目度): 1.911678487931003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the differential properties of higher-order statistical
probabilistic programs with recursion and conditioning. Our starting point is
an open problem posed by Hongseok Yang: what class of statistical probabilistic
programs have densities that are differentiable almost everywhere? To formalise
the problem, we consider Statistical PCF (SPCF), an extension of call-by-value
PCF with real numbers, and constructs for sampling and conditioning. We give
SPCF a sampling-style operational semantics a la Borgstrom et al., and study
the associated weight (commonly referred to as the density) function and value
function on the set of possible execution traces. Our main result is that
almost-surely terminating SPCF programs, generated from a set of primitive
functions (e.g. the set of analytic functions) satisfying mild closure
properties, have weight and value functions that are almost-everywhere
differentiable. We use a stochastic form of symbolic execution to reason about
almost-everywhere differentiability. A by-product of this work is that
almost-surely terminating deterministic (S)PCF programs with real parameters
denote functions that are almost-everywhere differentiable. Our result is of
practical interest, as almost-everywhere differentiability of the density
function is required to hold for the correctness of major gradient-based
inference algorithms.
- Abstract(参考訳): 再帰と条件付き高次統計確率プログラムの微分特性について検討する。
私たちの出発点は、hongseok yang氏が提起したオープン問題です。 統計確率プログラムのどのクラスには、ほぼどこでも微分可能な密度がありますか?
この問題を定式化するために,実数付きコールバイバリューpcfの拡張である統計型pcf (spcf) と,サンプリングとコンディショニングの構成について考察する。
我々はspcfにサンプリング方式の操作意味論をla borgstromらに与え、関連する重み関数(一般に密度と呼ばれる)と値関数を実行可能な実行トレースの集合上で研究する。
我々の主な成果は、軽度の閉包特性を満たす原始関数の集合(例えば、解析関数の集合)から生成されるほぼ確実に終了するSPCFプログラムが、ほぼどこでも微分可能な重みと値関数を持つことである。
私たちは、ほぼすべての差別性について推論するために、確率的なシンボル実行形式を使用します。
この研究の副産物は、実パラメータを持つほぼ確実に決定論的(S)PCFプログラムがほぼどこでも微分可能な関数を表すことである。
その結果,主要な勾配に基づく推論アルゴリズムの正確性を確保するためには,密度関数のほぼすべての微分可能性が必要となるため,実用的興味が持たれる。
関連論文リスト
- Kernel Density Bayesian Inverse Reinforcement Learning [6.03878742235195]
逆強化学習(IRL)は、エージェントの行動を観察して報酬関数を推測する強力なフレームワークである。
本稿では、条件付きカーネル密度推定を用いて、その可能性を直接近似するカーネル密度ベイズIRLを提案する。
論文 参考訳(メタデータ) (2023-03-13T03:00:03Z) - $\omega$PAP Spaces: Reasoning Denotationally About Higher-Order,
Recursive Probabilistic and Differentiable Programs [64.25762042361839]
$omega$PAP 空間は表現的微分可能および確率的プログラミング言語についての推論のための空間である。
我々の意味論は、最も実践的な確率的で微分可能なプログラムに意味を割り当てるのに十分である。
確率プログラムのトレース密度関数のほぼすべての微分可能性を確立する。
論文 参考訳(メタデータ) (2023-02-21T12:50:05Z) - The Normalized Cross Density Functional: A Framework to Quantify
Statistical Dependence for Random Processes [6.625320950808605]
正規化クロス密度(NCD)と呼ばれる正定関数を用いて、2つのランダムプロセス(r.p.)間の統計的依存を測定する新しい手法を提案する。
NCDは2つのr.p.の確率密度関数から直接導出され、データ依存ヒルベルト空間、正規化クロス密度ヒルベルト空間(NCD-HS)を構成する。
我々は,FMCAがNCDの固有値と固有関数を直接実現したことを数学的に証明する。
論文 参考訳(メタデータ) (2022-12-09T02:12:41Z) - Benefits of Monotonicity in Safe Exploration with Gaussian Processes [50.71125084216603]
動作の集合上で未知の関数を逐次最大化する問題を考察する。
M-SafeUCBは、安全性、適切に定義された後悔の念、安全境界全体の発見という理論的な保証を享受していることを示す。
論文 参考訳(メタデータ) (2022-11-03T02:52:30Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳(メタデータ) (2022-08-29T16:16:22Z) - Inference on Strongly Identified Functionals of Weakly Identified
Functions [71.42652863687117]
本研究では,ニュアンス関数が存在しない場合でも,関数を強く識別するための新しい条件について検討する。
本稿では,プライマリおよびデバイアスのニュアンス関数に対するペナル化ミニマックス推定器を提案する。
論文 参考訳(メタデータ) (2022-08-17T13:38:31Z) - Data-Driven Reachability analysis and Support set Estimation with
Christoffel Functions [8.183446952097528]
動的システムの前方到達可能な集合を推定するためのアルゴリズムを提案する。
生成された推定は、経験的逆クリストッフェル函数と呼ばれる関数の部分レベル集合である。
到達可能性解析に加えて、確率変数の支持を推定する一般的な問題にも同様のアプローチを適用することができる。
論文 参考訳(メタデータ) (2021-12-18T20:25:34Z) - Neural Network Approximation of Refinable Functions [8.323468006516018]
本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。
本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
論文 参考訳(メタデータ) (2021-07-28T06:45:36Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳(メタデータ) (2020-12-22T12:59:30Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳(メタデータ) (2020-07-05T18:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。