論文の概要: Adaptive Latent Factor Analysis via Generalized Momentum-Incorporated
Particle Swarm Optimization
- arxiv url: http://arxiv.org/abs/2208.02423v1
- Date: Thu, 4 Aug 2022 03:15:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-05 12:04:00.035249
- Title: Adaptive Latent Factor Analysis via Generalized Momentum-Incorporated
Particle Swarm Optimization
- Title(参考訳): 一般化 Momentum-Incorporated Particle Swarm Optimization による適応潜在因子解析
- Authors: Jiufang Chen, Ye Yuan
- Abstract要約: 勾配降下(SGD)アルゴリズムは,高次元および不完全行列上に潜在因子分析(LFA)モデルを構築するための効果的な学習戦略である。
粒子群最適化(PSO)アルゴリズムは、SGDベースのLFAモデルのハイパーパラメータ(学習率と正規化係数、自己適応)を作成するために一般的に用いられる。
本論文は, 各粒子の進化過程に, 早期収束を避けるために, より歴史的情報を取り入れたものである。
- 参考スコア(独自算出の注目度): 6.2303427193075755
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Stochastic gradient descent (SGD) algorithm is an effective learning strategy
to build a latent factor analysis (LFA) model on a high-dimensional and
incomplete (HDI) matrix. A particle swarm optimization (PSO) algorithm is
commonly adopted to make an SGD-based LFA model's hyper-parameters, i.e,
learning rate and regularization coefficient, self-adaptation. However, a
standard PSO algorithm may suffer from accuracy loss caused by premature
convergence. To address this issue, this paper incorporates more historical
information into each particle's evolutionary process for avoiding premature
convergence following the principle of a generalized-momentum (GM) method,
thereby innovatively achieving a novel GM-incorporated PSO (GM-PSO). With it, a
GM-PSO-based LFA (GMPL) model is further achieved to implement efficient
self-adaptation of hyper-parameters. The experimental results on three HDI
matrices demonstrate that the GMPL model achieves a higher prediction accuracy
for missing data estimation in industrial applications.
- Abstract(参考訳): 確率勾配降下(SGD)アルゴリズムは,高次元および不完全行列上に潜在因子分析(LFA)モデルを構築するための効果的な学習戦略である。
粒子群最適化(PSO)アルゴリズムは、SGDベースのLFAモデルのハイパーパラメータ(学習率と正規化係数、自己適応)を作成するために一般的に用いられる。
しかし、標準のpsoアルゴリズムは、早期収束によって精度が低下することがある。
そこで本稿では,gm法(generalized-momentum method)の原理に従い,各粒子の進化過程により多くの歴史的情報を組み込んで,新しいgm-incorporated pso (gm-pso) を革新的に達成する。
これにより、GM-PSOに基づくLFA(GMPL)モデルがさらに達成され、ハイパーパラメータの効率的な自己適応が実現される。
3つのHDI行列に対する実験結果から, GMPLモデルにより, 産業アプリケーションにおけるデータ推定の精度が向上することが示された。
関連論文リスト
- Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳(メタデータ) (2023-10-30T18:43:21Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - An Adam-enhanced Particle Swarm Optimizer for Latent Factor Analysis [6.960453648000231]
本稿では,逐次PSOアルゴリズムを用いて潜在因子を改良したAdam-enhanced Hierarchical PSO-LFAモデルを提案する。
4つの実データセットに対する実験結果から,提案モデルがピアで高い予測精度を実現することを示す。
論文 参考訳(メタデータ) (2023-02-23T12:10:59Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳(メタデータ) (2022-09-19T18:48:00Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Deep Generative Modeling on Limited Data with Regularization by
Nontransferable Pre-trained Models [32.52492468276371]
本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。
Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。
実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
論文 参考訳(メタデータ) (2022-08-30T10:28:50Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳(メタデータ) (2022-08-10T19:17:45Z) - An Adaptive Alternating-direction-method-based Nonnegative Latent Factor
Model [2.857044909410376]
交互方向法に基づく非負潜在因子モデルにより、高次元および不完全行列への効率的な表現学習を行うことができる。
本稿では,超パラメータ適応を粒子群最適化の原理に従って実装した適応交互方向法に基づく非負遅延因子モデルを提案する。
産業応用によって生成される非負のHDI行列に関する実証的研究は、A2NLFが計算および記憶効率においていくつかの最先端モデルより優れており、HDI行列の欠落データに対する高い競合推定精度を維持していることを示している。
論文 参考訳(メタデータ) (2022-04-11T03:04:26Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳(メタデータ) (2020-06-29T20:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。