論文の概要: A Momentum Accelerated Algorithm for ReLU-based Nonlinear Matrix Decomposition

• arxiv url: http://arxiv.org/abs/2402.02442v2
• Date: Sun, 29 Sep 2024 07:06:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:58:35.399742
• Title: A Momentum Accelerated Algorithm for ReLU-based Nonlinear Matrix Decomposition
• Title（参考訳）: ReLUに基づく非線形行列分解のためのモーメント高速化アルゴリズム
• Authors: Qingsong Wang, Chunfeng Cui, Deren Han,
• Abstract要約: 本稿では,Tikhonov正規化ReLU-NMDモデル(ReLU-NMD-T)を提案する。 本稿では,ReLU-NMD-Tモデルを扱うための運動量加速アルゴリズムを提案する。 実世界のデータセットに関する数値実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recently, there has been a growing interest in the exploration of Nonlinear Matrix Decomposition (NMD) due to its close ties with neural networks. NMD aims to find a low-rank matrix from a sparse nonnegative matrix with a per-element nonlinear function. A typical choice is the Rectified Linear Unit (ReLU) activation function. To address over-fitting in the existing ReLU-based NMD model (ReLU-NMD), we propose a Tikhonov regularized ReLU-NMD model, referred to as ReLU-NMD-T. Subsequently, we introduce a momentum accelerated algorithm for handling the ReLU-NMD-T model. A distinctive feature, setting our work apart from most existing studies, is the incorporation of both positive and negative momentum parameters in our algorithm. Our numerical experiments on real-world datasets show the effectiveness of the proposed model and algorithm. Moreover, the code is available at https://github.com/nothing2wang/NMD-TM.
• Abstract（参考訳）: 近年,ニューラルネットワークとの密接な関係から非線形行列分解(NMD)の探索への関心が高まっている。 NMDは、要素ごとの非線形関数を持つスパース非負行列から低ランク行列を見つけることを目的としている。 典型的な選択は、Rectified Linear Unit (ReLU) アクティベーション機能である。 既存の ReLU-NMD モデル (ReLU-NMD) の過剰適合に対処するため,Tikhonov 正規化 ReLU-NMD モデル(ReLU-NMD-T)を提案する。 次に、ReLU-NMD-Tモデルを扱うための運動量加速アルゴリズムを提案する。 既存のほとんどの研究とは別個の特徴として、我々のアルゴリズムに正と負の運動量パラメータが組み込まれている点が挙げられる。 実世界のデータセットに関する数値実験により,提案手法の有効性が示された。 さらに、コードはhttps://github.com/nothing2wang/NMD-TMで入手できる。

関連論文リスト

• A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network [18.06366638807982]
  浅いReLUニューラルネットワークを用いて最小二乗問題を解くための構造誘導型ガウスニュートン法(SgGN)を提案する。 目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
  論文  参考訳（メタデータ） (2024-04-07T20:24:44Z)
• Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
  ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。 本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。 本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:00:37Z)
• Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
  提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。 大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T14:30:06Z)
• Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
  我々はロバスト成分分析のためのアルゴリズムを設計する(A) 行列を低主行列とスパース主行列の和に分解する。
  論文  参考訳（メタデータ） (2023-07-12T03:48:26Z)
• Accelerated Algorithms for Nonlinear Matrix Decomposition with the ReLU function [17.17890385027466]
  我々は、$f(cdot) = max(0, cdot)$, rectified unit (ReLU) non-linear activation の場合に焦点を当てる。 本稿では,(1)適応型ネステロフ外挿法を用いて既存のアルゴリズムを高速化するアグレッシブアクセラレーションNMD (A-NMD) と,(2)$Theta = WH$をパラメータ化して計算コストを大幅に削減する3ブロックNMD (3B-NMD) の2つの新しいアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2023-05-15T14:43:27Z)
• PI-NLF: A Proportional-Integral Approach for Non-negative Latent Factor Analysis [9.087387628717952]
  非負潜在因子モデル(NLF)は、HDI行列に対する効率的な表現学習を行う。 PI-NLFモデルは、HDI行列の欠落データに対する計算効率と推定精度の両方において、最先端モデルよりも優れている。
  論文  参考訳（メタデータ） (2022-05-05T12:04:52Z)
• Log-based Sparse Nonnegative Matrix Factorization for Data Representation [55.72494900138061]
  非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。 そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。 提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:10Z)
• Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers [0.20305676256390928]
  本稿では、最適隠れネットワークパラメータを決定するために凸と2倍の差分損失と正規化項を用いることを提案する。 逐次最小二乗と交互方向乗算器を組み合わせる。 このアルゴリズムの性能は非線形システム同定ベンチマークで検証される。
  論文  参考訳（メタデータ） (2021-12-31T08:43:04Z)
• Dynamic Mode Decomposition in Adaptive Mesh Refinement and Coarsening Simulations [58.720142291102135]
  動的モード分解(DMD)はコヒーレントなスキームを抽出する強力なデータ駆動方式である。 本稿では,異なるメッシュトポロジと次元の観測からDMDを抽出する戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-28T22:14:25Z)
• Joint Deep Reinforcement Learning and Unfolding: Beam Selection and Precoding for mmWave Multiuser MIMO with Lens Arrays [54.43962058166702]
  離散レンズアレイを用いたミリ波マルチユーザマルチインプット多重出力(MU-MIMO)システムに注目が集まっている。 本研究では、DLA を用いた mmWave MU-MIMO システムのビームプリコーディング行列の共同設計について検討する。
  論文  参考訳（メタデータ） (2021-01-05T03:55:04Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。