論文の概要: Deterministic Approximate EM Algorithm; Application to the Riemann Approximation EM and the Tempered EM

• arxiv url: http://arxiv.org/abs/2003.10126v3
• Date: Mon, 2 May 2022 11:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 00:50:41.193013
• Title: Deterministic Approximate EM Algorithm; Application to the Riemann Approximation EM and the Tempered EM
• Title（参考訳）: 決定論的近似EMアルゴリズム : Riemann近似EMと温度EMへの応用
• Authors: Thomas Lartigue (ARAMIS, CMAP), Stanley Durrleman (ARAMIS), St\'ephanie Allassonni\`ere (CRC)
• Abstract要約: 我々は、Eステップの決定論的近似に対して、最先端の収束を保証する理論的枠組みを導入する。 我々は、難解なEステップに対して、このフレームワークに適合するいくつかの近似を理論的および経験的に分析する。 我々は、新しい非研究プロファイルが、敵の初期化を逃れるのにどう役立つかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Expectation Maximisation (EM) algorithm is widely used to optimise non-convex likelihood functions with latent variables. Many authors modified its simple design to fit more specific situations. For instance, the Expectation (E) step has been replaced by Monte Carlo (MC), Markov Chain Monte Carlo or tempered approximations, etc. Most of the well-studied approximations belong to the stochastic class. By comparison, the literature is lacking when it comes to deterministic approximations. In this paper, we introduce a theoretical framework, with state-of-the-art convergence guarantees, for any deterministic approximation of the E step. We analyse theoretically and empirically several approximations that fit into this framework. First, for intractable E-steps, we introduce a deterministic version of MC-EM using Riemann sums. A straightforward method, not requiring any hyper-parameter fine-tuning, useful when the low dimensionality does not warrant a MC-EM. Then, we consider the tempered approximation, borrowed from the Simulated Annealing literature and used to escape local extrema. We prove that the tempered EM verifies the convergence guarantees for a wider range of temperature profiles than previously considered. We showcase empirically how new non-trivial profiles can more successfully escape adversarial initialisations. Finally, we combine the Riemann and tempered approximations into a method that accomplishes both their purposes.
• Abstract（参考訳）: 予測最大化(EM)アルゴリズムは、非凸確率関数を潜在変数で最適化するために広く用いられている。 多くの著者は、より特定の状況に合うようにシンプルなデザインを変更した。 例えば、期待(E)ステップはモンテカルロ (MC)、マルコフ・チェイン・モンテカルロ (Markov Chain Monte Carlo)、または誘惑近似などに置き換えられている。 良く研究された近似の多くは確率類に属する。 比較すると、決定論的近似に関して文学は欠落している。 本稿では,Eステップの任意の決定論的近似に対して,最先端の収束を保証する理論的枠組みを導入する。 この枠組みに適合するいくつかの近似を理論的および経験的に解析する。 まず、難解なE-ステップに対して、リーマン和を用いたMC-EMの決定論的バージョンを導入する。 超パラメータ微調整を一切必要とせず、低次元がMC-EMを保証しない場合に有用である。 次に, シミュレーションアニーリングの文献を参考にして, 局所的極値から逃れるために用いた, テンパード近似を考える。 本研究では, 温度分布の収束保証を従来考えられていたよりも広い範囲で検証する。 新たな非自明なプロファイルが、逆初期化をうまく回避できることを実証的に示します。 最後に、リーマン近似と誘惑近似を、両方の目的を達成する方法に組み合わせる。

関連論文リスト

• Riemannian Federated Learning via Averaging Gradient Stream [8.75592575216789]
  本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
  論文  参考訳（メタデータ） (2024-09-11T12:28:42Z)
• Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
  一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。 最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。 我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-19T06:24:22Z)
• Streamlining in the Riemannian Realm: Efficient Riemannian Optimization with Loopless Variance Reduction [4.578425862931332]
  本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。 ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。 フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T12:49:37Z)
• Riemannian Laplace Approximation with the Fisher Metric [5.982697037000189]
  ラプラスの手法は、目標密度とガウス分布をそのモードで近似する。 複雑なターゲットと有限データ後部では、しばしば近似が粗すぎる。 我々は、無限データの範囲内で正確である2つの代替変種を開発する。
  論文  参考訳（メタデータ） (2023-11-05T20:51:03Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• A Unified Convergence Theorem for Stochastic Optimization Methods [4.94128206910124]
  一連の統一最適化手法に対する収束結果の導出に使用される基本的な統一収束定理を提供する。 直接応用として、一般的な設定下での収束結果をほぼ確実に回復する。
  論文  参考訳（メタデータ） (2022-06-08T14:01:42Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。