論文の概要: Accelerated Algorithms for Nonlinear Matrix Decomposition with the ReLU function

• arxiv url: http://arxiv.org/abs/2305.08687v1
• Date: Mon, 15 May 2023 14:43:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 14:17:07.971766
• Title: Accelerated Algorithms for Nonlinear Matrix Decomposition with the ReLU function
• Title（参考訳）: ReLU関数を用いた非線形行列分解の高速化アルゴリズム
• Authors: Giovanni Seraghiti, Atharva Awari, Arnaud Vandaele, Margherita Porcelli, Nicolas Gillis
• Abstract要約: 我々は、$f(cdot) = max(0, cdot)$, rectified unit (ReLU) non-linear activation の場合に焦点を当てる。 本稿では,(1)適応型ネステロフ外挿法を用いて既存のアルゴリズムを高速化するアグレッシブアクセラレーションNMD (A-NMD) と,(2)$Theta = WH$をパラメータ化して計算コストを大幅に削減する3ブロックNMD (3B-NMD) の2つの新しいアルゴリズムを紹介する。
• 参考スコア（独自算出の注目度）: 17.17890385027466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the following nonlinear matrix decomposition (NMD) problem: given a sparse nonnegative matrix $X$, find a low-rank matrix $\Theta$ such that $X \approx f(\Theta)$, where $f$ is an element-wise nonlinear function. We focus on the case where $f(\cdot) = \max(0, \cdot)$, the rectified unit (ReLU) non-linear activation. We refer to the corresponding problem as ReLU-NMD. We first provide a brief overview of the existing approaches that were developed to tackle ReLU-NMD. Then we introduce two new algorithms: (1) aggressive accelerated NMD (A-NMD) which uses an adaptive Nesterov extrapolation to accelerate an existing algorithm, and (2) three-block NMD (3B-NMD) which parametrizes $\Theta = WH$ and leads to a significant reduction in the computational cost. We also propose an effective initialization strategy based on the nuclear norm as a proxy for the rank function. We illustrate the effectiveness of the proposed algorithms (available on gitlab) on synthetic and real-world data sets.
• Abstract（参考訳）: 本稿では、以下の非線形行列分解(NMD)問題を考察する: スパース非負行列 $X$ が与えられたとき、$X \approx f(\Theta)$ となるような低ランク行列 $\Theta$ を求める。 f(\cdot) = \max(0, \cdot)$,整流単位(relu)非線形活性化の場合に焦点を当てる。 対応する問題をReLU-NMDと呼ぶ。 まず、ReLU-NMDに取り組むために開発された既存のアプローチの概要を紹介する。 次に,(1)適応型ネステロフ外挿法を用いて既存のアルゴリズムを高速化するアグレッシブアクセラレーションNMD (A-NMD) と,(2)$\Theta = WH$をパラメータ化して計算コストを大幅に削減する3ブロックNMD (3B-NMD) の2つの新しいアルゴリズムを導入する。 また,階数関数の代理として,核規範に基づく効果的な初期化戦略を提案する。 合成および実世界のデータセットにおける提案アルゴリズム(gitlabで利用可能)の有効性について述べる。

関連論文リスト

• A Momentum Accelerated Algorithm for ReLU-based Nonlinear Matrix Decomposition [0.0]
  本稿では,Tikhonov正規化ReLU-NMDモデル(ReLU-NMD-T)を提案する。 本稿では,ReLU-NMD-Tモデルを扱うための運動量加速アルゴリズムを提案する。 実世界のデータセットに関する数値実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-04T10:43:35Z)
• Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems [61.85150061213987]
  一般化線形モデル (GLM) フレームワークを用いて, citelu2021low で提案した一般化低ランク行列帯域問題について検討する。 既存のアルゴリズムの計算不可能性と理論的制約を克服するため,まずG-ESTTフレームワークを提案する。 G-ESTT は $tildeO(sqrt(d_1+d_2)3/2Mr3/2T)$ bound of regret を達成でき、G-ESTS は $tildeO を達成できることを示す。
  論文  参考訳（メタデータ） (2024-01-14T14:14:19Z)
• Learning Adversarial Low-rank Markov Decision Processes with Unknown Transition and Full-information Feedback [30.23951525723659]
  本研究は,全情報フィードバック設定において,逆向きに損失が変化する低ランクMDPについて検討する。 政策最適化に基づくアルゴリズムPOLOを提案し、$widetildeO(Kfrac56Afrac12dln (1+M)/ (1-gamma)2)$ regret guarantee。
  論文  参考訳（メタデータ） (2023-11-14T03:12:43Z)
• A Doubly Robust Approach to Sparse Reinforcement Learning [19.68978899041642]
  エピソードスパークリニアマルコフ決定過程(SMDP)に対する新しい後悔アルゴリズムを提案する。 提案アルゴリズムは$tildeO(sigma-1_min s_star H sqrtN)$である。
  論文  参考訳（メタデータ） (2023-10-23T18:52:17Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Refined Regret for Adversarial MDPs with Linear Function Approximation [50.00022394876222]
  我々は,損失関数が約1,300ドル以上のエピソードに対して任意に変化するような,敵対的決定過程(MDP)の学習を検討する。 本稿では,同じ設定で$tildemathcal O(K2/3)$に対する後悔を改善する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T14:37:21Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping [99.59319332864129]
  本稿では,割引決定(MDP)のための強化学習について検討する。 本稿では,特徴写像を利用した新しいアルゴリズムを提案し,$tilde O(dsqrtT/ (1-gamma)2)$ regretを求める。 以上の結果から,提案した強化学習アルゴリズムは,最大1-γ-0.5$の係数でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-23T17:08:54Z)
• Learning nonlinear dynamical systems from a single trajectory [102.60042167341956]
  我々は、$x_t+1=sigma(Thetastarx_t)+varepsilon_t$という形の非線形力学系を学ぶアルゴリズムを導入する。 最適なサンプル複雑性と線形ランニング時間を持つ単一軌道から重み行列$Thetastar$を復元するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-04-30T10:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。