論文の概要: A Class of Two-Timescale Stochastic EM Algorithms for Nonconvex Latent Variable Models

• arxiv url: http://arxiv.org/abs/2203.10186v1
• Date: Fri, 18 Mar 2022 22:46:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-27 02:02:42.117958
• Title: A Class of Two-Timescale Stochastic EM Algorithms for Nonconvex Latent Variable Models
• Title（参考訳）: 非凸潜在変数モデルのための2時間確率EMアルゴリズムのクラス
• Authors: Belhal Karimi and Ping Li
• Abstract要約: expectation-Maximization (EM)アルゴリズムは、変数モデルを学習するための一般的な選択肢である。 本稿では,Two-Time Methodsと呼ばれる手法の一般クラスを提案する。
• 参考スコア（独自算出の注目度）: 21.13011760066456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Expectation-Maximization (EM) algorithm is a popular choice for learning latent variable models. Variants of the EM have been initially introduced, using incremental updates to scale to large datasets, and using Monte Carlo (MC) approximations to bypass the intractable conditional expectation of the latent data for most nonconvex models. In this paper, we propose a general class of methods called Two-Timescale EM Methods based on a two-stage approach of stochastic updates to tackle an essential nonconvex optimization task for latent variable models. We motivate the choice of a double dynamic by invoking the variance reduction virtue of each stage of the method on both sources of noise: the index sampling for the incremental update and the MC approximation. We establish finite-time and global convergence bounds for nonconvex objective functions. Numerical applications on various models such as deformable template for image analysis or nonlinear models for pharmacokinetics are also presented to illustrate our findings.
• Abstract（参考訳）: 期待最大化(em)アルゴリズムは、潜在変数モデルを学ぶための一般的な選択である。 EMの変数は当初導入され、インクリメンタルアップデートを使用して大規模なデータセットにスケールし、Monte Carlo (MC)近似を使用して、ほとんどの非凸モデルに対する遅延データの難解な条件予測を回避した。 本稿では,2段階の確率的更新アプローチに基づく2段階EM法と呼ばれる手法の一般クラスを提案し,潜在変数モデルに必須な非凸最適化課題に取り組む。 インクリメンタルな更新のためのインデックスサンプリングとMC近似という2つのノイズ源に基づいて,手法の各段階の分散低減効果を誘導することにより,二重ダイナミクスの選択を動機付ける。 非凸目的関数に対する有限時間および大域収束境界を確立する。 また,画像解析のための変形テンプレートや薬物動態の非線形モデルなどの様々なモデルに対する数値的応用について考察した。

関連論文リスト

• Variational Neural Stochastic Differential Equations with Change Points [4.692174333076032]
  ニューラル微分方程式(ニューラルSDE)を用いた時系列データにおける変化点のモデル化について検討する。 本稿では,時系列をニューラルSDEとしてモデル化するための変分オートエンコーダ(VAE)フレームワークに基づく,新しいモデル定式化とトレーニング手法を提案する。 本稿では,従来のパラメトリックSDEと分散シフトを伴う実データセットの両方を効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2024-11-01T14:46:17Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
  アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。 潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-02-27T19:07:12Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)
• SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks [14.564168076456822]
  本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。 提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
  論文  参考訳（メタデータ） (2020-08-19T19:11:25Z)
• Analysis of Bayesian Inference Algorithms by the Dynamical Functional Approach [2.8021833233819486]
  学生自明なシナリオにおいて,大ガウス潜在変数モデルを用いて近似推論のアルゴリズムを解析する。 完全データモデルマッチングの場合、レプリカ法から派生した静的順序パラメータの知識により、効率的なアルゴリズム更新が得られる。
  論文  参考訳（メタデータ） (2020-01-14T17:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。