論文の概要: An Adam-enhanced Particle Swarm Optimizer for Latent Factor Analysis

• arxiv url: http://arxiv.org/abs/2302.11956v1
• Date: Thu, 23 Feb 2023 12:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 15:24:17.303748
• Title: An Adam-enhanced Particle Swarm Optimizer for Latent Factor Analysis
• Title（参考訳）: 潜在因子分析のためのアダム強化粒子群最適化器
• Authors: Jia Chen, Renyu Zhang, Yuanyi Liu
• Abstract要約: 本稿では,逐次PSOアルゴリズムを用いて潜在因子を改良したAdam-enhanced Hierarchical PSO-LFAモデルを提案する。 4つの実データセットに対する実験結果から,提案モデルがピアで高い予測精度を実現することを示す。
• 参考スコア（独自算出の注目度）: 6.960453648000231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Digging out the latent information from large-scale incomplete matrices is a key issue with challenges. The Latent Factor Analysis (LFA) model has been investigated in depth to an alyze the latent information. Recently, Swarm Intelligence-related LFA models have been proposed and adopted widely to improve the optimization process of LFA with high efficiency, i.e., the Particle Swarm Optimization (PSO)-LFA model. However, the hyper-parameters of the PSO-LFA model have to tune manually, which is inconvenient for widely adoption and limits the learning rate as a fixed value. To address this issue, we propose an Adam-enhanced Hierarchical PSO-LFA model, which refines the latent factors with a sequential Adam-adjusting hyper-parameters PSO algorithm. First, we design the Adam incremental vector for a particle and construct the Adam-enhanced evolution process for particles. Second, we refine all the latent factors of the target matrix sequentially with our proposed Adam-enhanced PSO's process. The experimental results on four real datasets demonstrate that our proposed model achieves higher prediction accuracy with its peers.
• Abstract（参考訳）: 大規模な不完全行列から潜在的な情報を掘り出すことは、課題の重要な問題である。 潜時因子分析モデル(lfa)は潜時情報をアライズするために深く研究されている。 近年,Swarm Intelligence 関連 LFA モデルが提案され,高効率で LFA の最適化プロセス,すなわち Particle Swarm Optimization (PSO)-LFA モデルを改善するために広く採用されている。 しかし、pso-lfaモデルのハイパーパラメータは手動でチューニングしなければならないため、広く採用するには不都合であり、学習率を固定値として制限する。 この問題に対処するため,Adam-adjusting hyper-parameters PSOアルゴリズムを用いて潜在因子を改良したAdam-enhanced Hierarchical PSO-LFAモデルを提案する。 まず, 粒子に対するadamインクリメンタルベクトルを設計し, adam-enhanced evolution process を構成する。 第2に、提案したAdam強化PSOプロセスにより、ターゲット行列の潜伏因子を逐次精製する。 4つの実データセットに対する実験結果から,提案モデルがピアで高い予測精度を実現することを示す。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• The Hitchhiker's Guide to Human Alignment with *PO [43.4130314879284]
  我々は,高次パラメータの変動に対して同時に頑健であるアルゴリズムの同定に焦点をあてる。 解析の結果,広範に採用されているDPO法は,品質が劣る長大な応答を連続的に生成することがわかった。 これらの結果から,DPOアルゴリズムであるLN-DPOの精度が向上し,品質を損なうことなく,より簡潔な応答が得られることが示唆された。
  論文  参考訳（メタデータ） (2024-07-21T17:35:20Z)
• FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information [5.010523239708004]
  本稿では,アダムの対角的経験的フィッシャー情報行列(FIM)について,アクセス可能かつ詳細な解析を行う。 我々の分析は、元のAdamアルゴリズムの欠陥を明らかにし、提案された修正に繋がる。 修正アルゴリズムであるFisher Adam (FAdam) は、様々な領域で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-21T13:58:17Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• A Dynamic-Neighbor Particle Swarm Optimizer for Accurate Latent Factor Analysis [8.451827165005993]
  LFAモデルの性能は最適化プロセスに大きく依存している。 いくつかの先行研究では、LFAモデルの最適化プロセスを強化するためにParticle Swarm Optimizationを採用している。 本稿では,2つの主観を持つ動的近傍協調型階層型PSO強化LFAモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:03:59Z)
• An Adam-adjusting-antennae BAS Algorithm for Refining Latent Factors [10.129747457073389]
  本稿では, PSO-incorporated LFAモデルにより得られた潜在因子を改良したAdam-Adjusting-Anennae BAS (A2BAS) 最適化アルゴリズムを提案する。 2つの実高次元行列に対する実験結果から,本アルゴリズムは早期収束問題を効果的に解くことができることを示した。
  論文  参考訳（メタデータ） (2022-08-13T09:05:05Z)
• Adaptive Latent Factor Analysis via Generalized Momentum-Incorporated Particle Swarm Optimization [6.2303427193075755]
  勾配降下(SGD)アルゴリズムは,高次元および不完全行列上に潜在因子分析(LFA)モデルを構築するための効果的な学習戦略である。 粒子群最適化(PSO)アルゴリズムは、SGDベースのLFAモデルのハイパーパラメータ(学習率と正規化係数、自己適応)を作成するために一般的に用いられる。 本論文は, 各粒子の進化過程に, 早期収束を避けるために, より歴史的情報を取り入れたものである。
  論文  参考訳（メタデータ） (2022-08-04T03:15:07Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。