論文の概要: Understanding and Accelerating EM Algorithm's Convergence by Fair Competition Principle and Rate-Verisimilitude Function

• arxiv url: http://arxiv.org/abs/2104.12592v1
• Date: Wed, 21 Apr 2021 20:27:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 19:50:40.633084
• Title: Understanding and Accelerating EM Algorithm's Convergence by Fair Competition Principle and Rate-Verisimilitude Function
• Title（参考訳）: 公正競争原理とレート同化関数によるemアルゴリズムの収束の理解と促進
• Authors: Chenguang Lu
• Abstract要約: 本稿では,異なる収束困難を説明するために婚姻競争を利用し,フェアコンペティション原則(FCP)を提案する。 この収束証明はシャノンらによる変分的および反復的手法を採用する。 速度歪み関数の分析に使用される。
• 参考スコア（独自算出の注目度）: 0.40611352512781856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why can the Expectation-Maximization (EM) algorithm for mixture models converge? Why can different initial parameters cause various convergence difficulties? The Q-L synchronization theory explains that the observed data log-likelihood L and the complete data log-likelihood Q are positively correlated; we can achieve maximum L by maximizing Q. According to this theory, the Deterministic Annealing EM (DAEM) algorithm's authors make great efforts to eliminate locally maximal Q for avoiding L's local convergence. However, this paper proves that in some cases, Q may and should decrease for L to increase; slow or local convergence exists only because of small samples and unfair competition. This paper uses marriage competition to explain different convergence difficulties and proposes the Fair Competition Principle (FCP) with an initialization map for improving initializations. It uses the rate-verisimilitude function, extended from the rate-distortion function, to explain the convergence of the EM and improved EM algorithms. This convergence proof adopts variational and iterative methods that Shannon et al. used for analyzing rate-distortion functions. The initialization map can vastly save both algorithms' running times for binary Gaussian mixtures. The FCP and the initialization map are useful for complicated mixtures but not sufficient; we need further studies for specific methods.
• Abstract（参考訳）: なぜ混合モデルに対する期待最大化(em)アルゴリズムが収束するのか? なぜ異なる初期パラメータが様々な収束困難を引き起こすのか? q-l同期理論は、観測されたデータログ類似度lと完全なデータログ類似度qが正の相関関係にあることを説明し、qを最大化することで最大lを達成することができる。 この理論によれば、決定論的アニーリングEM (Deterministic Annealing EM) アルゴリズムの著者は、L の局所収束を避けるために局所的な極大 Q を排除しようとする。 しかし、本論文は、QがLが増加するためには、Qが減少する可能性があり、局所収束は、小さなサンプルと不公平な競合のためのみ存在することを証明している。 本稿では, コンバージェンスの難しさを説明するために婚姻競争を利用し, 初期化マップを用いたフェアコンペティション原則(FCP)を提案する。 速度歪み関数から拡張された速度ベクトル関数を用いて、EMの収束と改良されたEMアルゴリズムを説明する。 この収束証明はシャノンらによる変分的および反復的手法を採用する。 速度歪み関数の分析に用いられる。 初期化マップは、2進ガウス混合に対する両方のアルゴリズムの実行時間を大いに節約することができる。 fcpと初期化写像は複雑な混合に対して有用であるが十分ではない。

関連論文リスト

• Convergence of Expectation-Maximization Algorithm with Mixed-Integer Optimization [5.319361976450982]
  本稿では,特定の種類のEMアルゴリズムの収束を保証する一連の条件を紹介する。 本研究では,混合整数非線形最適化問題の解法として,反復アルゴリズムの新しい解析手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T11:42:46Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties [8.294148737585543]
  本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。 本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-04T21:48:51Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Quantization-Based Optimization: Alternative Stochastic Approximation of Global Optimization [0.0]
  NP-hard問題における目的関数のエネルギーレベルを定量化するための大域的最適化アルゴリズムを提案する。 数値実験により,提案アルゴリズムはNP-ハード最適化問題の解法において従来の学習法よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-08T03:01:45Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• Fair Marriage Principle and Initialization Map for the EM Algorithm [0.0]
  論文は、EMアルゴリズムの一般的な収束理論は間違っていると主張している。 局所極大Qは収束速度に影響を与えるが、大域収束をブロックすることはできない。 改良されたEMアルゴリズムはChannel Matching (CM) EMアルゴリズムと呼ばれ、世界収束を加速することができる。
  論文  参考訳（メタデータ） (2020-07-25T03:23:49Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。