論文の概要: GradInf: Gradient Estimation as Probabilistic Inference
- arxiv url: http://arxiv.org/abs/2607.07840v1
- Date: Wed, 08 Jul 2026 18:18:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.312349
- Title: GradInf: Gradient Estimation as Probabilistic Inference
- Title（参考訳）: GradInf: 確率的推論としての勾配推定
- Abstract要約: 確率的プログラムのための音響的・効率的な勾配推定器を開発するための新しい手法を開発した。
GradInfは、勾配推論の音質と自動実装を容易にする確率的プログラミングシステムである。
- 参考スコア（独自算出の注目度）: 41.324573619943955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient estimation -- the task of computing the gradient of the expected value of a probabilistic program -- has diverse applications in scientific computing, but is notoriously difficult because of issues such as high-dimensional integration, discrete random choices, and complex stochastic dependencies. This article introduces gradient inference, a new approach to developing sound and efficient gradient estimators for probabilistic programs. Gradient inference rests on a formal reduction from a gradient estimation problem to a closely related probabilistic inference problem, whose solution can be differentiated to obtain a gradient estimator. This inference problem is obtained by applying two powerful statistical operations -- coupling and factorization -- to the input probabilistic program. Our reduction lets us leverage the rich toolkit of probabilistic inference algorithms to design novel gradient estimators that extend and improve upon existing methods. We introduce GradInf, a probabilistic programming system that facilitates the sound and automated implementation of gradient inference. GradInf is centered around programmable source-to-source transformations for coupling and factorizing higher-order probabilistic programs, whose soundness is proven in terms of a denotational semantics. Key to our development is the use of information-flow typing to allow random choices in a probabilistic program to be factored out and partially evaluated, which improves our ability to deploy sophisticated probabilistic inference algorithms. The resulting system offers practitioners a principled framework for designing gradient estimators. We apply GradInf to several challenging case studies, showing that it can express prominent gradient estimators from the literature and enables the construction of new state-of-the-art estimators that outperform the best existing baselines.
- Abstract（参考訳）: 確率的プログラムの期待値の勾配を計算するタスクである勾配推定(Gradient Estimation)は、科学計算に様々な応用があるが、高次元の統合、離散ランダム選択、複雑な確率依存といった問題により、非常に難しい。
本稿では,確率的プログラムのための高効率勾配推定器の開発手法である勾配推定について紹介する。
勾配推定は、勾配推定問題から密接な関係のある確率的推論問題への公式的な還元に依存し、その解を微分して勾配推定器を得ることができる。
この推論問題は、入力確率プログラムに2つの強力な統計演算(結合と分解)を適用することで得られる。
我々の削減により、確率的推論アルゴリズムのリッチツールキットを利用して、既存の手法を拡張し改善する新しい勾配推定器を設計できる。
本稿では,勾配推論の音質と自動実装を容易にする確率的プログラミングシステムGradInfを紹介する。
GradInfは、高次の確率的プログラムの結合と分解のためのプログラマブルなソース間変換を中心としている。
私たちの開発においてキーとなるのは、確率的プログラムにおけるランダムな選択を分解し、部分的に評価するための情報フロー型付けを使用することで、高度な確率的推論アルゴリズムをデプロイする能力を向上させることです。
結果として得られるシステムは、勾配推定器を設計するための原則的なフレームワークを提供する。
GradInfをいくつかの挑戦的なケーススタディに適用し、文献から顕著な勾配推定器を表現できることを示し、既存の最良ベースラインより優れた新しい最先端推定器の構築を可能にした。
関連論文リスト
- Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Fast and Correct Gradient-Based Optimisation for Probabilistic
Programming via Smoothing [0.0]
本稿では,後部推論を最適化問題とする変分推論の基礎について検討する。
私たちは、測定可能とスムーズな(近似的な)値セマンティクスの両方を言語に与えました。
提案手法は鍵となる競合相手と同様の収束性を持つが,よりシンプルで,高速で,作業正規化分散の桁違いの低減が達成できることを示す。
論文 参考訳（メタデータ） (2023-01-09T15:12:45Z) - Reliability analysis of discrete-state performance functions via
adaptive sequential sampling with detection of failure surfaces [0.0]
本稿では,レアイベント確率推定のための新しい効率的でロバストな手法を提案する。
この手法は、複数の障害タイプの確率を推定することができる。
この情報に対応して、推定確率の精度を高めることができる。
論文 参考訳（メタデータ） (2022-08-04T05:59:25Z) - Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic
Regression [51.770998056563094]
PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。
既存の最先端手法と比較してPGBMの利点を実証的に示す。
論文 参考訳（メタデータ） (2021-06-03T08:32:13Z) - Statistical Inference for Polyak-Ruppert Averaged Zeroth-order
Stochastic Gradient Algorithm [10.936043362876651]
過去10年間、複数の機械学習モデルにおける推定やトレーニングは、勾配アルゴリズムの実行と同義語になってきた。
まず、ゼロ次設定でPolyak-Ruppert平均勾配アルゴリズムの中心限界を確立する。
論文 参考訳（メタデータ） (2021-02-10T00:47:20Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳（メタデータ） (2020-08-07T08:22:26Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z) - Scalable Approximate Inference and Some Applications [2.6541211006790983]
本稿では,近似推論のための新しいフレームワークを提案する。
提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。
シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
論文 参考訳（メタデータ） (2020-03-07T04:33:27Z) - Stochastically Differentiable Probabilistic Programs [18.971852464650144]
離散確率変数の存在は、多くの基本的な勾配に基づく推論エンジンを禁止している。
我々はマルコフ・チェイン・モンテカルロのアルゴリズム群を用いて,このようなプログラムにおいて推論を効率的かつ堅牢に実行するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-03-02T08:04:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。