論文の概要: Tuning-Free Maximum Likelihood Training of Latent Variable Models via Coin Betting

• arxiv url: http://arxiv.org/abs/2305.14916v2
• Date: Fri, 1 Mar 2024 14:37:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 21:04:47.957386
• Title: Tuning-Free Maximum Likelihood Training of Latent Variable Models via Coin Betting
• Title（参考訳）: コインベッティングによる潜在変数モデルのチューニング自由最大習熟訓練
• Authors: Louis Sharrock, Daniel Dodd, Christopher Nemeth
• Abstract要約: 限界最大推定による潜在変数モデル学習のための2つの新しい粒子ベースアルゴリズムを提案する。 1つのアルゴリズムは完全にチューニング不要です。 我々は,高次元設定を含むいくつかの数値実験において,アルゴリズムの有効性を検証した。
• 参考スコア（独自算出の注目度）: 1.8416014644193066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce two new particle-based algorithms for learning latent variable models via marginal maximum likelihood estimation, including one which is entirely tuning-free. Our methods are based on the perspective of marginal maximum likelihood estimation as an optimization problem: namely, as the minimization of a free energy functional. One way to solve this problem is via the discretization of a gradient flow associated with the free energy. We study one such approach, which resembles an extension of Stein variational gradient descent, establishing a descent lemma which guarantees that the free energy decreases at each iteration. This method, and any other obtained as the discretization of the gradient flow, necessarily depends on a learning rate which must be carefully tuned by the practitioner in order to ensure convergence at a suitable rate. With this in mind, we also propose another algorithm for optimizing the free energy which is entirely learning rate free, based on coin betting techniques from convex optimization. We validate the performance of our algorithms across several numerical experiments, including several high-dimensional settings. Our results are competitive with existing particle-based methods, without the need for any hyperparameter tuning.
• Abstract（参考訳）: 本稿では,極端最大推定による潜在変数モデルを学習するための2つの新しい粒子ベースアルゴリズムを提案する。 本手法は最適化問題としての限界最大度推定の観点、すなわち自由エネルギー汎関数の最小化を基礎としている。 この問題を解決する一つの方法は、自由エネルギーに付随する勾配流の離散化である。 ステイン変分勾配降下の拡張に類似したそのようなアプローチを1つ検討し、各イテレーションで自由エネルギーが減少することを保証する降下補題を確立する。 勾配流の離散化として得られる他の手法は、必ずしも適切な速度で収束を確保するためには、練習者が慎重に調整しなければならない学習率に依存する。 このことを念頭に,コンベックス最適化によるコイン賭け手法に基づいて,完全に学習率フリーである自由エネルギーを最適化する別のアルゴリズムを提案する。 我々は,いくつかの高次元設定を含む数値実験を通して,アルゴリズムの性能を検証する。 我々の結果は、ハイパーパラメータチューニングを必要とせず、既存の粒子法と競合する。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization [0.0]
  雑音のない微分自由最適化のための球平滑化法とガウス平滑化法を拡張した新しいアルゴリズムを提案する。 アルゴリズムはスムーズなカーネルの形状を動的に適応させ、局所最適関数の Hessian を近似する。
  論文  参考訳（メタデータ） (2024-05-02T21:04:20Z)
• A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness [4.097563258332958]
  滑らか性に不均一性が存在する場合の高速準ニュートン法を提案する。 我々のアルゴリズムは、最もよく知られた$mathcalO(epsilon-3)$サンプルの複雑さを達成でき、収束のスピードアップを楽しむことができる。 我々の数値実験により,提案アルゴリズムは最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-22T14:40:29Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Quantized Variational Inference [6.09170287691728]
  ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。 量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
  論文  参考訳（メタデータ） (2020-11-04T13:22:50Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。