論文の概要: Momentum Particle Maximum Likelihood

• arxiv url: http://arxiv.org/abs/2312.07335v3
• Date: Tue, 4 Jun 2024 17:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 13:47:23.459632
• Title: Momentum Particle Maximum Likelihood
• Title（参考訳）: Momentum Particle Maximum Likelihood
• Authors: Jen Ning Lim, Juan Kuntz, Samuel Power, Adam M. Johansen,
• Abstract要約: 自由エネルギー関数を最小化するための類似の力学系に基づくアプローチを提案する。 システムを離散化することにより、潜在変数モデルにおける最大推定のための実用的なアルゴリズムを得る。 このアルゴリズムは既存の粒子法を数値実験で上回り、他のMLEアルゴリズムと比較する。
• 参考スコア（独自算出の注目度）: 2.4561590439700076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Maximum likelihood estimation (MLE) of latent variable models is often recast as the minimization of a free energy functional over an extended space of parameters and probability distributions. This perspective was recently combined with insights from optimal transport to obtain novel particle-based algorithms for fitting latent variable models to data. Drawing inspiration from prior works which interpret `momentum-enriched' optimization algorithms as discretizations of ordinary differential equations, we propose an analogous dynamical-systems-inspired approach to minimizing the free energy functional. The result is a dynamical system that blends elements of Nesterov's Accelerated Gradient method, the underdamped Langevin diffusion, and particle methods. Under suitable assumptions, we prove that the continuous-time system minimizes the functional. By discretizing the system, we obtain a practical algorithm for MLE in latent variable models. The algorithm outperforms existing particle methods in numerical experiments and compares favourably with other MLE algorithms.
• Abstract（参考訳）: 潜在変数モデルの最大確率推定(MLE)は、パラメータと確率分布の拡張空間上の自由エネルギー関数の最小化としてしばしば再キャストされる。 この視点は、遅延変数モデルをデータに適合させる新しい粒子ベースのアルゴリズムを得るための最適な輸送からの洞察と最近結合された。 通常の微分方程式の離散化として 'momentum-enriched' 最適化アルゴリズムを解釈する先行研究からインスピレーションを得て、自由エネルギー汎関数を最小化するための類似の力学系に基づくアプローチを提案する。 その結果、ネステロフの加速勾配法、アンダーダムのランゲヴィン拡散法、および粒子法の要素をブレンドする力学系が得られた。 適切な仮定の下では、連続時間系が関数を最小化することを示す。 システムの離散化により、潜在変数モデルにおけるMLEの実用的なアルゴリズムを得る。 このアルゴリズムは、既存の粒子法を数値実験で上回り、他のMLEアルゴリズムと比較する。

関連論文リスト

• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Accelerated Inference for Partially Observed Markov Processes using Automatic Differentiation [4.872049174955585]
  自動微分(AD)は機械学習の最近の進歩を促している。 我々は,新しいアルゴリズムのクラスの拡張を提供する理論的枠組みに,既存の2つのAD粒子フィルタ手法を組み込む方法を示す。 我々はAD勾配推定のモンテカルロ特性に適合する確率アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-07-03T13:06:46Z)
• Proximal Interacting Particle Langevin Algorithms [0.0]
  本稿では,潜時変動モデルにおける推論と学習のためのPIPLAアルゴリズムを提案する。 非微分不可能な統計モデルにおけるパラメータ推定の問題に合わせた、新しい近位IPLAファミリー内のいくつかの変種を提案する。 我々の理論と実験は、PIPLAファミリーが非微分可能モデルの潜在変数モデルにおけるパラメータ推定問題のデファクト選択であることを示している。
  論文  参考訳（メタデータ） (2024-06-20T13:16:41Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• Feature Engineering with Regularity Structures [4.082216579462797]
  機械学習タスクの特徴として,正則構造理論からのモデルの利用について検討する。 本研究では、時空信号に付随するモデル特徴ベクトルの柔軟な定義と、これらの特徴を線形回帰と組み合わせる方法を示す2つのアルゴリズムを提供する。 我々はこれらのアルゴリズムを、与えられた強制と境界データを用いてPDEの解を学ぶために設計されたいくつかの数値実験に適用する。
  論文  参考訳（メタデータ） (2021-08-12T17:53:47Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。