論文の概要: A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm
- arxiv url: http://arxiv.org/abs/2006.12690v2
- Date: Fri, 12 Feb 2021 16:23:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 22:35:32.706928
- Title: A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm
- Title(参考訳): ベイジアンEMアルゴリズムの収束に対する力学系アプローチ
- Authors: Orlando Romero, Subhro Das, Pin-Yu Chen, S\'ergio Pequito
- Abstract要約: 我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
- 参考スコア(独自算出の注目度): 59.99439951055238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out of the recent advances in systems and control (S\&C)-based analysis of
optimization algorithms, not enough work has been specifically dedicated to
machine learning (ML) algorithms and its applications. This paper addresses
this gap by illustrating how (discrete-time) Lyapunov stability theory can
serve as a powerful tool to aid, or even lead, in the analysis (and potential
design) of optimization algorithms that are not necessarily gradient-based. The
particular ML problem that this paper focuses on is that of parameter
estimation in an incomplete-data Bayesian framework via the popular
optimization algorithm known as maximum a posteriori expectation-maximization
(MAP-EM). Following first principles from dynamical systems stability theory,
conditions for convergence of MAP-EM are developed. Furthermore, if additional
assumptions are met, we show that fast convergence (linear or quadratic) is
achieved, which could have been difficult to unveil without our adopted S\&C
approach. The convergence guarantees in this paper effectively expand the set
of sufficient conditions for EM applications, thereby demonstrating the
potential of similar S\&C-based convergence analysis of other ML algorithms.
- Abstract(参考訳): システムと制御(S\&C)に基づく最適化アルゴリズムの分析の最近の進歩の中で、機械学習(ML)アルゴリズムとその応用に特化している作業は十分ではない。
本稿では、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかにして強力なツールとなり得るかを説明する。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM(Maximum a reari expectation-maximization)と呼ばれる最適化アルゴリズムを用いて行うことに着目した。
力学系安定性理論の第一原理に従い、MAP-EMの収束条件を開発する。
さらに、追加の仮定が満たされれば、高速収束(線形あるいは二次)が達成され、私たちのS&Cアプローチなしでは発表が困難であった可能性がある。
本論文では,EMアプリケーションに十分な条件の集合を効果的に拡張し,他のMLアルゴリズムの類似したS&Cベース収束解析の可能性を示す。
関連論文リスト
- The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。
イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。
実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
論文 参考訳(メタデータ) (2024-07-30T17:03:19Z) - Deterministic Trajectory Optimization through Probabilistic Optimal Control [3.2771631221674333]
離散時間決定論的有限水平非線形最適制御問題に対する2つの新しいアルゴリズムを提案する。
どちらのアルゴリズムも確率論的最適制御として知られる新しい理論パラダイムにインスパイアされている。
このアルゴリズムの適用により、決定論的最適ポリシーに収束する確率的ポリシーの定点が得られることを示す。
論文 参考訳(メタデータ) (2024-07-18T09:17:47Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Exploring the Algorithm-Dependent Generalization of AUPRC Optimization
with List Stability [107.65337427333064]
AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。
本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。
3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
論文 参考訳(メタデータ) (2022-09-27T09:06:37Z) - A theoretical and empirical study of new adaptive algorithms with
additional momentum steps and shifted updates for stochastic non-convex
optimization [0.0]
適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。
本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
論文 参考訳(メタデータ) (2021-10-16T09:47:57Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳(メタデータ) (2020-10-15T18:09:48Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳(メタデータ) (2020-06-12T00:32:21Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳(メタデータ) (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。