論文の概要: Uniform-in-time convergence bounds for Persistent Contrastive Divergence Algorithms
- arxiv url: http://arxiv.org/abs/2510.01944v1
- Date: Thu, 02 Oct 2025 12:12:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:21.121656
- Title: Uniform-in-time convergence bounds for Persistent Contrastive Divergence Algorithms
- Title（参考訳）: 永久コントラスト分散アルゴリズムにおける一様時間収束境界
- Authors: Paul Felix Valsecchi Oliva, O. Deniz Akyildiz, Andrew Duncan,
- Abstract要約: 非正規化密度の最大最大値推定(MLE)のための持続的コントラスト分散(PCD)の連続時間定式化を提案する。
我々は,PCDとモデルパラメータのMLE解との誤差に対して,明示的な境界を導出することができる。
- 参考スコア（独自算出の注目度）: 0.29494468099506904
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We propose a continuous-time formulation of persistent contrastive divergence (PCD) for maximum likelihood estimation (MLE) of unnormalised densities. Our approach expresses PCD as a coupled, multiscale system of stochastic differential equations (SDEs), which perform optimisation of the parameter and sampling of the associated parametrised density, simultaneously. From this novel formulation, we are able to derive explicit bounds for the error between the PCD iterates and the MLE solution for the model parameter. This is made possible by deriving uniform-in-time (UiT) bounds for the difference in moments between the multiscale system and the averaged regime. An efficient implementation of the continuous-time scheme is introduced, leveraging a class of explicit, stable intregators, stochastic orthogonal Runge-Kutta Chebyshev (S-ROCK), for which we provide explicit error estimates in the long-time regime. This leads to a novel method for training energy-based models (EBMs) with explicit error guarantees.
- Abstract（参考訳）: 非正規化密度の最大最大値推定(MLE)のための持続的コントラスト分散(PCD)の連続時間定式化を提案する。
提案手法は,パラメータの最適化と関連するパラメータ密度のサンプリングを同時に行う,確率微分方程式(SDE)の結合型マルチスケールシステムとしてPCDを表現している。
この新たな定式化により、PCD反復とモデルパラメータのMLE解との誤差に対する明示的な境界を導出できる。
これは、マルチスケールシステムと平均化された状態の間のモーメントの差に対する均一時間境界(UiT)を導出することで実現される。
連続時間スキームの効率的な実装として,確率論的直交Runge-Kutta Chebyshev (S-ROCK) という明示的で安定な入力器のクラスを利用する。
これにより、エネルギーベースモデル(EBM)を明示的なエラー保証でトレーニングする新たな方法がもたらされる。
関連論文リスト
- MultiPDENet: PDE-embedded Learning with Multi-time-stepping for Accelerated Flow Simulation [48.41289705783405]
マルチスケールタイムステップ(MultiPDENet)を用いたPDE組み込みネットワークを提案する。
特に,有限差分構造に基づく畳み込みフィルタを少数のパラメータで設計し,最適化する。
4階ランゲ・クッタ積分器を微細な時間スケールで備えた物理ブロックが確立され、PDEの構造を埋め込んで予測を導出する。
論文 参考訳（メタデータ） (2025-01-27T12:15:51Z) - Momentum Particle Maximum Likelihood [2.4561590439700076]
自由エネルギー関数を最小化するための類似の力学系に基づくアプローチを提案する。
システムを離散化することにより、潜在変数モデルにおける最大推定のための実用的なアルゴリズムを得る。
このアルゴリズムは既存の粒子法を数値実験で上回り、他のMLEアルゴリズムと比較する。
論文 参考訳（メタデータ） (2023-12-12T14:53:18Z) - Improved High-Probability Bounds for the Temporal Difference Learning Algorithm via Exponential Stability [17.771354881467435]
一般化された, インスタンスに依存しないステップサイズを持つ単純なアルゴリズムは, ほぼ最適分散とバイアス項を得るのに十分であることを示す。
本手法は, 線形近似のための洗練された誤差境界と, ランダム行列の積に対する新しい安定性結果に基づく。
論文 参考訳（メタデータ） (2023-10-22T12:37:25Z) - Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。
鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文 参考訳（メタデータ） (2023-05-24T20:43:47Z) - Self-Consistent Velocity Matching of Probability Flows [22.2542921090435]
偏微分方程式(PDE)のクラスを解くための離散化のないスケーラブルなフレームワークを提案する。
主な観察は、PDE溶液の時間変化速度場は自己整合性が必要であることである。
実験性能の強い計算障害を回避できるバイアス勾配推定器を用いた反復的定式化を用いる。
論文 参考訳（メタデータ） (2023-01-31T16:17:18Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳（メタデータ） (2020-02-21T20:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。