論文の概要: Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of
Continuous-Time State-Space Models
- arxiv url: http://arxiv.org/abs/2105.11522v1
- Date: Mon, 24 May 2021 20:31:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-27 06:43:59.394006
- Title: Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of
Continuous-Time State-Space Models
- Title（参考訳）: 連続時間状態空間モデルのクラスに対するログ類似度勾配の偏りのない推定
- Authors: Marco Ballesio and Ajay Jasra
- Abstract要約: 連続時間状態空間モデルのクラスに対する静的パラメータ推定について検討する。
私たちのゴールは、ログライクリフの勾配(スコア関数)の偏りのない推定値を得ることです。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we consider static parameter estimation for a class of
continuous-time state-space models. Our goal is to obtain an unbiased estimate
of the gradient of the log-likelihood (score function), which is an estimate
that is unbiased even if the stochastic processes involved in the model must be
discretized in time. To achieve this goal, we apply a \emph{doubly randomized
scheme} (see, e.g.,~\cite{ub_mcmc, ub_grad}), that involves a novel coupled
conditional particle filter (CCPF) on the second level of randomization
\cite{jacob2}. Our novel estimate helps facilitate the application of
gradient-based estimation algorithms, such as stochastic-gradient Langevin
descent. We illustrate our methodology in the context of stochastic gradient
descent (SGD) in several numerical examples and compare with the Rhee \& Glynn
estimator \cite{rhee,vihola}.
- Abstract（参考訳）: 本稿では,連続時間状態空間モデルのクラスに対する静的パラメータ推定について検討する。
本研究の目的は,モデルに関連する確率過程を時間内に離散化しなければならない場合でも,非偏りである対数類似度(スコア関数)の勾配の非偏り推定を行うことである。
この目的を達成するために、第2レベルのランダム化 \cite{jacob2} において、新しい結合条件付き粒子フィルタ (ccpf) を含む \emph{doubly randomized scheme} (例:~\cite{ub_mcmcmc, ub_grad}) を適用する。
提案手法は,確率的勾配ランジュバン降下のような勾配に基づく推定アルゴリズムの適用を促進する。
本稿では,確率勾配降下(SGD)の文脈における方法論をいくつかの数値例で説明し,Rhee \&Glynn estimator \cite{rhee,vihola} と比較する。
関連論文リスト
- Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。
また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文 参考訳（メタデータ） (2024-10-21T09:39:10Z) - One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。
理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
論文 参考訳（メタデータ） (2023-06-09T13:43:07Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。
本稿では,完全勾配の必要性を除去する。
集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
論文 参考訳（メタデータ） (2021-11-26T06:00:44Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Analysis of Stochastic Gradient Descent in Continuous Time [0.0]
勾配降下の連続時間表現として勾配過程を導入する。
学習速度が0に近づくと,勾配流に弱収束することを示す。
この場合、過程は、全対象関数の大域的最小に集中する点質量に弱収束する。
論文 参考訳（メタデータ） (2020-04-15T16:04:41Z) - The Implicit Regularization of Stochastic Gradient Flow for Least
Squares [24.976079444818552]
最小二乗回帰の基本問題に適用したミニバッチ勾配勾配の暗黙正則化について検討した。
我々は勾配流と呼ばれる勾配降下と同じモーメントを持つ連続時間微分方程式を利用する。
チューニングパラメータ $lambda = 1/t$ で、リッジレグレッションを越えて、時間 $t$ での勾配フローの過剰なリスクに制限を与えます。
論文 参考訳（メタデータ） (2020-03-17T16:37:25Z) - Non-asymptotic bounds for stochastic optimization with biased noisy
gradient oracles [8.655294504286635]
関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。
提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
論文 参考訳（メタデータ） (2020-02-26T12:53:04Z) - The Wasserstein Proximal Gradient Algorithm [23.143814848127295]
ワッサーシュタイン勾配流は、確率測度の空間上の目的関数を最小化するために最も急勾配の曲線を定義する連続時間力学である。
目的関数が滑らかで非滑らかな空間的凸項の和である場合に対処できるフォワードバックワード(FB)離散化スキームを提案する。
論文 参考訳（メタデータ） (2020-02-07T22:19:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。