論文の概要: The Perturbed Prox-Preconditioned SPIDER algorithm for EM-based large scale learning

• arxiv url: http://arxiv.org/abs/2105.11732v1
• Date: Tue, 25 May 2021 07:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 13:47:31.075120
• Title: The Perturbed Prox-Preconditioned SPIDER algorithm for EM-based large scale learning
• Title（参考訳）: emベース大規模学習のためのperturbed prox-preconditioned spiderアルゴリズム
• Authors: Gersende Fort (IMT), Eric Moulines (X-DEP-MATHAPP, XPOP)
• Abstract要約: 大規模学習フレームワークのためのEM設計のために,増分期待最大化(EM)アルゴリズムを導入した。 本稿では,Perturbed Integral EstimatoR EM(SPIDER-EM)アルゴリズムをベースとした,Perturbed Prox-Preconditioned SPIDERという新しいアルゴリズムを提案する。 3P-SPIDERアルゴリズムは、EMのEステップの多くの難易度に対処し、非滑らかな正規化や凸制約も扱う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incremental Expectation Maximization (EM) algorithms were introduced to design EM for the large scale learning framework by avoiding the full data set to be processed at each iteration. Nevertheless, these algorithms all assume that the conditional expectations of the sufficient statistics are explicit. In this paper, we propose a novel algorithm named Perturbed Prox-Preconditioned SPIDER (3P-SPIDER), which builds on the Stochastic Path Integral Differential EstimatoR EM (SPIDER-EM) algorithm. The 3P-SPIDER algorithm addresses many intractabilities of the E-step of EM; it also deals with non-smooth regularization and convex constraint set. Numerical experiments show that 3P-SPIDER outperforms other incremental EM methods and discuss the role of some design parameters.
• Abstract（参考訳）: 増分期待最大化(EM)アルゴリズムを導入し,各イテレーションで処理すべき全データセットを回避し,大規模学習フレームワークのEM設計を行った。 しかしながら、これらのアルゴリズムはすべて、十分な統計量の条件付き期待が明確であると仮定する。 本稿では,確率パス積分微分エスチマトラーEM(SPIDER-EM)アルゴリズムをベースとした,Perturbed Prox-Preconditioned SPIDER (3P-SPIDER)という新しいアルゴリズムを提案する。 3p-spiderアルゴリズムはemのeステップの多くの難解性に対応し、非スムース正則化や凸制約集合も扱う。 数値実験により、3P-SPIDERは他のインクリメンタルEM法よりも優れており、いくつかの設計パラメータの役割について議論されている。

関連論文リスト

• Q-learning for Quantile MDPs: A Decomposition, Performance, and Convergence Analysis [30.713243690224207]
  マルコフ決定過程(MDPs)において、バリュー・アット・リスク(Value-at-Risk)のような量子リスク尺度は、特定の結果に対するRLエージェントの嗜好をモデル化するための標準指標である。 本稿では,強い収束と性能保証を有するMDPにおける量子化最適化のための新しいQ-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-31T16:53:20Z)
• Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
  我々はロバスト成分分析のためのアルゴリズムを設計する(A) 行列を低主行列とスパース主行列の和に分解する。
  論文  参考訳（メタデータ） (2023-07-12T03:48:26Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Non-stationary Reinforcement Learning under General Function Approximation [60.430936031067006]
  まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。 提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。 SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T16:19:37Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization [0.0]
  3P-SP-IDERは、有限和非逆ロジスティック方程式を解くために設計された新しいアルゴリズムである。 我々は, 3P-SP-IDER が事前条件付きを拡張し, ケースフォワード演算子へのインクリメンタル最大化アルゴリズムをクローズド形式で計算できないことを示す。 また、3P-SP-IDERの設計パラメータがランダムな効果を持つ回帰モデルにおける推論に果たす役割についても論じる。
  論文  参考訳（メタデータ） (2023-01-02T12:49:48Z)
• Classical and Quantum Iterative Optimization Algorithms Based on Matrix Legendre-Bregman Projections [1.5736899098702972]
  エルミート行列空間上で定義されたルジャンドル・ブレーグマン射影について考察し,それに基づいて反復最適化アルゴリズムを設計する。 本稿では,ブレグマン射影アルゴリズムと近似的ブラグマン射影アルゴリズムについて検討する。 特に、近似反復アルゴリズムは、最大エントロピー推論のための一般化反復スケーリング(GIS)アルゴリズムの非可換バージョンをもたらす。
  論文  参考訳（メタデータ） (2022-09-28T15:59:08Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Generalization in portfolio-based algorithm selection [97.74604695303285]
  ポートフォリオベースのアルゴリズム選択に関する最初の証明可能な保証を提供する。 ポートフォリオが大きければ、非常に単純なアルゴリズムセレクタであっても、過剰適合は避けられないことを示す。
  論文  参考訳（メタデータ） (2020-12-24T16:33:17Z)
• Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization [21.81837334970773]
  本稿では,予測最大化(EM)アルゴリズムへのパス付き微分エスティマの拡張を提案する。 SPIDER-EM-IDERと同じ状態アート境界をサポートし,その結果を得た。
  論文  参考訳（メタデータ） (2020-11-24T21:20:53Z)
• Better Trees: An empirical study on hyperparameter tuning of classification decision tree induction algorithms [5.4611430411491115]
  決定木誘導アルゴリズムは高い予測性能と解釈可能な分類モデルを示す。 本稿では,CARTとC4.5の2つのDT誘導アルゴリズムに対するハイパーパラメータチューニングの効果について検討する。 OpenMLから94の分類データセットを用いて,モデルを誘導し,HPの妥当性を評価するための異なるチューニング手法を用いて実験を行った。
  論文  参考訳（メタデータ） (2018-12-05T19:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。