論文の概要: Accelerated Inference for Partially Observed Markov Processes using Automatic Differentiation

• arxiv url: http://arxiv.org/abs/2407.03085v1
• Date: Wed, 3 Jul 2024 13:06:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:16:16.223363
• Title: Accelerated Inference for Partially Observed Markov Processes using Automatic Differentiation
• Title（参考訳）: 自動微分を用いた部分観測マルコフ過程の高速化推論
• Authors: Kevin Tan, Giles Hooker, Edward L. Ionides,
• Abstract要約: 自動微分(AD)は機械学習の最近の進歩を促している。 我々は,新しいアルゴリズムのクラスの拡張を提供する理論的枠組みに,既存の2つのAD粒子フィルタ手法を組み込む方法を示す。 我々はAD勾配推定のモンテカルロ特性に適合する確率アルゴリズムを開発する。
• 参考スコア（独自算出の注目度）: 4.872049174955585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic differentiation (AD) has driven recent advances in machine learning, including deep neural networks and Hamiltonian Markov Chain Monte Carlo methods. Partially observed nonlinear stochastic dynamical systems have proved resistant to AD techniques because widely used particle filter algorithms yield an estimated likelihood function that is discontinuous as a function of the model parameters. We show how to embed two existing AD particle filter methods in a theoretical framework that provides an extension to a new class of algorithms. This new class permits a bias/variance tradeoff and hence a mean squared error substantially lower than the existing algorithms. We develop likelihood maximization algorithms suited to the Monte Carlo properties of the AD gradient estimate. Our algorithms require only a differentiable simulator for the latent dynamic system; by contrast, most previous approaches to AD likelihood maximization for particle filters require access to the system's transition probabilities. Numerical results indicate that a hybrid algorithm that uses AD to refine a coarse solution from an iterated filtering algorithm show substantial improvement on current state-of-the-art methods for a challenging scientific benchmark problem.
• Abstract（参考訳）: 自動微分(AD)は、ディープニューラルネットワークやハミルトンマルコフ連鎖モンテカルロ法など、機械学習の最近の進歩を牽引している。 部分的に観察された非線形確率力学系は、広く使われている粒子フィルタアルゴリズムがモデルパラメータの関数として不連続である推定推定推定推定関数を生成するため、AD手法に耐性があることが証明されている。 我々は,新しいアルゴリズムのクラスの拡張を提供する理論的枠組みに,既存の2つのAD粒子フィルタ手法を組み込む方法を示す。 この新たなクラスはバイアス/分散トレードオフを許容し、従って既存のアルゴリズムよりも平均2乗誤差がかなり低い。 我々はAD勾配推定のモンテカルロ特性に適合する極大化アルゴリズムを開発する。 対照的に、AD極大化への従来のアプローチでは、粒子フィルタの最大化にはシステムの遷移確率へのアクセスが必要であった。 数値計算により,ADを用いて反復フィルタリングアルゴリズムから粗い解を精製するハイブリッドアルゴリズムは,挑戦的な科学的ベンチマーク問題に対する最先端の手法を大幅に改善したことを示す。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Differentiable Interacting Multiple Model Particle Filtering [24.26220422457388]
  本研究では,パラメータ学習のための連続モンテカルロアルゴリズムを提案する。 我々は、微分可能な粒子フィルタリングの新たな枠組みを採用し、パラメータは勾配降下によって訓練される。 提案アルゴリズムの新たな理論的結果を確立し,従来の最先端アルゴリズムと比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2024-10-01T12:05:18Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Momentum Particle Maximum Likelihood [2.4561590439700076]
  自由エネルギー関数を最小化するための類似の力学系に基づくアプローチを提案する。 システムを離散化することにより、潜在変数モデルにおける最大推定のための実用的なアルゴリズムを得る。 このアルゴリズムは既存の粒子法を数値実験で上回り、他のMLEアルゴリズムと比較する。
  論文  参考訳（メタデータ） (2023-12-12T14:53:18Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
  分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。 提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-12T13:53:03Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• An application of the splitting-up method for the computation of a neural network representation for the solution for the filtering equations [68.8204255655161]
  フィルタ方程式は、数値天気予報、金融、工学など、多くの現実の応用において中心的な役割を果たす。 フィルタリング方程式の解を近似する古典的なアプローチの1つは、分割法と呼ばれるPDEにインスパイアされた方法を使うことである。 我々はこの手法をニューラルネットワーク表現と組み合わせて、信号プロセスの非正規化条件分布の近似を生成する。
  論文  参考訳（メタデータ） (2022-01-10T11:01:36Z)
• Iterated Block Particle Filter for High-dimensional Parameter Learning: Beating the Curse of Dimensionality [0.6599344783327054]
  高次元、部分的に観察され、非線形過程のための時間的疾患学習は方法論的な課題である。 グラフ状態空間モデル上で高次元推論パラメータを学習するための反復ブロック粒子フィルタ(IBPF)を提案する。
  論文  参考訳（メタデータ） (2021-10-20T19:36:55Z)
• An Adaptive EM Accelerator for Unsupervised Learning of Gaussian Mixture Models [0.7340845393655052]
  教師なし学習のための適応予測最大化(EM)アルゴリズムのためのAnderson Accelerationスキームを提案する。 提案アルゴリズムは、最適混合成分数を自律的に決定することができ、非加速バージョンよりもはるかに高速に最適解に収束する。
  論文  参考訳（メタデータ） (2020-09-26T22:55:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。