論文の概要: Fast Latent Factor Analysis via a Fuzzy PID-Incorporated Stochastic Gradient Descent Algorithm

• arxiv url: http://arxiv.org/abs/2303.03941v1
• Date: Tue, 7 Mar 2023 14:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 15:04:39.943570
• Title: Fast Latent Factor Analysis via a Fuzzy PID-Incorporated Stochastic Gradient Descent Algorithm
• Title（参考訳）: ファジィPIDを組み込んだ確率勾配勾配アルゴリズムによる高速潜時因子解析
• Authors: Li Jinli and Yuan Ye
• Abstract要約: 勾配降下(SGD)に基づく潜在因子分析モデルは,HDI行列から貴重な情報を抽出するのに極めて有効である。 標準SGDアルゴリズムは、過去の更新情報を考慮せずに、現在のインスタンスエラーの勾配に依存する潜在因子を学習する。 本稿では, ファジィPIDを組み込んだSGDアルゴリズムを2つのアイデアで提案する: 1) 過去の更新情報をPIDの原則に従って効率的な方法で再設計し, 2) ハイパーラーニングを実装し, ファジィ規則に従う適応を得る。
• 参考スコア（独自算出の注目度）: 1.984879854062214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A high-dimensional and incomplete (HDI) matrix can describe the complex interactions among numerous nodes in various big data-related applications. A stochastic gradient descent (SGD)-based latent factor analysis (LFA) model is remarkably effective in extracting valuable information from an HDI matrix. However, such a model commonly encounters the problem of slow convergence because a standard SGD algorithm learns a latent factor relying on the stochastic gradient of current instance error only without considering past update information. To address this critical issue, this paper innovatively proposes a Fuzzy PID-incorporated SGD (FPS) algorithm with two-fold ideas: 1) rebuilding the instance learning error by considering the past update information in an efficient way following the principle of PID, and 2) implementing hyper-parameters and gain parameters adaptation following the fuzzy rules. With it, an FPS-incorporated LFA model is further achieved for fast processing an HDI matrix. Empirical studies on six HDI datasets demonstrate that the proposed FPS-incorporated LFA model significantly outperforms the state-of-the-art LFA models in terms of computational efficiency for predicting the missing data of an HDI matrix with competitive accuracy.
• Abstract（参考訳）: 高次元および不完全(hdi)行列は、様々なビッグデータ関連アプリケーションにおける多数のノード間の複雑な相互作用を記述することができる。 確率勾配勾配(SGD)に基づく潜在因子分析(LFA)モデルは,HDI行列から貴重な情報を抽出するのに極めて有効である。 しかし、sgdアルゴリズムは過去の更新情報を考慮せずに現在のインスタンスエラーの確率的勾配に依存する潜伏因子を学習するため、そのようなモデルは通常、収束の遅い問題に遭遇する。 この問題に対処するため,本論文では2次元のアイデアを持つファジィpidを組み込んだsgd(fps)アルゴリズムを提案する。 1)過去の更新情報をPIDの原則に従って効率的な方法で考慮して、インスタンス学習エラーを再構築し、 2) ファジィ規則に従うハイパーパラメータの実装とゲインパラメータ適応。 これにより、HDI行列を高速に処理するために、FPSを組み込んだLFAモデルがさらに達成される。 6つのHDIデータセットに関する実証研究により、提案したFPS組み込みLFAモデルは、HDI行列の欠落したデータを競合精度で予測する計算効率の観点から、最先端のLFAモデルよりも大幅に優れていることが示された。

関連論文リスト

• PSLF: A PID Controller-incorporated Second-order Latent Factor Analysis Model for Recommender System [11.650076383080526]
  2次ベースHDIモデル(SLF)解析はグラフ学習において特に高次および不完全因子データレートにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-31T13:01:58Z)
• Mini-Hes: A Parallelizable Second-order Latent Factor Analysis Model [8.06111903129142]
  本稿では,LFAモデル構築のためのミニブロック対角ヘシアンフリー(Mini-Hes)最適化を提案する。 実験結果から,Mini-Hesでは,LFAモデルは欠落したデータ推定タスクに対処する上で,いくつかの最先端モデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-19T08:43:00Z)
• Fast Dual-Regularized Autoencoder for Sparse Biological Data [65.268245109828]
  本研究では,近傍正規化行列補完問題に対する浅層オートエンコーダを開発する。 本研究は, 薬物と薬物の相互作用と薬物の放出関連性を予測する上で, 既存の最先端技術に対するアプローチの速度と精度の優位性を実証する。
  論文  参考訳（メタデータ） (2024-01-30T01:28:48Z)
• An ADRC-Incorporated Stochastic Gradient Descent Algorithm for Latent Factor Analysis [6.843073158719234]
  勾配降下(SGD)に基づく潜在因子分析(LFA)モデルは,HDI行列から貴重な情報を抽出するのに極めて有効である。 標準SGDアルゴリズムは、学習エラーの履歴と将来の状態を考慮せずに、現在の学習誤差のみを計算できる。 本稿では,ADRCを組み込んだSGD(ADS)アルゴリズムを革新的に提案する。
  論文  参考訳（メタデータ） (2024-01-13T08:38:54Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• A Nonlinear PID-Enhanced Adaptive Latent Factor Analysis Model [6.2303427193075755]
  高次元および不完全(HDI)データは、様々な産業応用において非常にインタラクティブな情報を保持する。 The Latent Factor (LF) model is significantly effective to extract valuable information from HDI data with proper gradient (SGD) algorithm。 SGDベースのLFAモデルは、現在の学習誤差のみを考慮するため、収束が遅い。
  論文  参考訳（メタデータ） (2022-08-04T07:48:19Z)
• PI-NLF: A Proportional-Integral Approach for Non-negative Latent Factor Analysis [9.087387628717952]
  非負潜在因子モデル(NLF)は、HDI行列に対する効率的な表現学習を行う。 PI-NLFモデルは、HDI行列の欠落データに対する計算効率と推定精度の両方において、最先端モデルよりも優れている。
  論文  参考訳（メタデータ） (2022-05-05T12:04:52Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。