Fugu-MT 論文翻訳(概要): An Accelerated Stochastic Gradient for Canonical Polyadic Decomposition

論文の概要: An Accelerated Stochastic Gradient for Canonical Polyadic Decomposition

arxiv url: http://arxiv.org/abs/2109.13964v1
Date: Tue, 28 Sep 2021 18:13:56 GMT
ステータス: 処理完了
システム内更新日: 2021-09-30 14:39:38.266406
Title: An Accelerated Stochastic Gradient for Canonical Polyadic Decomposition
Title（参考訳）: カノニカルポリアディック分解のための高速化確率勾配
Authors: Ioanna Siaminou, Athanasios P. Liavas
Abstract要約: 構造的正準多進分解の問題を考察する。問題のサイズが非常に大きい場合、勾配法は古典的な方法の代替となる。当社のアプローチを、合成データと実世界のデータの両方を用いて、最先端の代替手段と比較し、非常に競争力のあるものだと考えています。
参考スコア（独自算出の注目度）: 0.48733623015338234
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the problem of structured canonical polyadic decomposition. If the size of the problem is very big, then stochastic gradient approaches are viable alternatives to classical methods, such as Alternating Optimization and All-At-Once optimization. We extend a recent stochastic gradient approach by employing an acceleration step (Nesterov momentum) in each iteration. We compare our approach with state-of-the-art alternatives, using both synthetic and real-world data, and find it to be very competitive.
Abstract（参考訳）: 構造的正準多進分解の問題を考える。問題のサイズが非常に大きい場合、確率勾配法はオルタネート最適化やオールアンス最適化といった古典的手法の代替となる。各イテレーションで加速度ステップ(ネステロフ運動量)を用いることで,最近の確率勾配手法を拡張する。当社のアプローチを、合成データと実世界のデータの両方を用いて、最先端の代替手段と比較し、非常に競争力のあるものだと考えています。

関連論文リスト

Non-convex Stochastic Composite Optimization with Polyak Momentum [25.060477077577154]
一般化近位勾配は広く用いられる勾配降下法(SGD)の強力な一般化である。しかし、メソッドがマシン内の多くのアプリケーションに収束しないことは知られている。
論文参考訳（メタデータ） (2024-03-05T13:43:58Z)
On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization [10.36447258513813]
我々は、強化学習(RL)における既存の問題の多くを網羅する非文献設定における正規化期待報酬最適化問題を考える。特に、標準条件下では、$O(epsilon-4)$サンプルを$epsilon$-stationaryポイントに含めることが示されている。分析の結果,サンプルの複雑さは,追加条件下では$O(epsilon-4)$から$O(epsilon-3)$に改善できることがわかった。
論文参考訳（メタデータ） (2024-01-23T06:01:29Z)
Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent [1.534667887016089]
一般最適化法の力学を近似した微分方程式のクラスを提案する。座標降下の場合の修正方程式の安定性について検討する。
論文参考訳（メタデータ） (2023-09-05T09:39:56Z)
First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
本稿では,一階変分法の理論解析のための統一的アプローチを提案する。提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
論文参考訳（メタデータ） (2023-05-25T11:11:31Z)
Cyclic Block Coordinate Descent With Variance Reduction for Composite Nonconvex Optimization [26.218670461973705]
非漸近勾配ノルム保証を協調する問題の解法を提案する。本研究は,ニューラルネットの深部学習における循環還元方式の有効性を実証するものである。
論文参考訳（メタデータ） (2022-12-09T19:17:39Z)
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文参考訳（メタデータ） (2022-03-30T11:39:00Z)
Convergence of First-Order Methods for Constrained Nonconvex Optimization with Dependent Data [7.513100214864646]
収束$tildeO(t-1/4)$とMoreautildeO(vareps-4)$がスムーズな非最適化のために最悪の場合の複雑性を示す。適応的なステップサイズと最適収束度を持つ投影勾配法に基づく従属データに対する最初のオンライン非負行列分解アルゴリズムを得る。
論文参考訳（メタデータ） (2022-03-29T17:59:10Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。我々は1対1の対応において最適化手法の2つのファミリを導出する。自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文参考訳（メタデータ） (2021-06-04T20:21:53Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)
Gradient-Free Methods for Saddle-Point Problem [125.99533416395765]
我々はGasnikov et al., 2017のアプローチを一般化し、不正確な勾配のないオラクルで(確率的な)凸最適化問題を解けるようにした。我々のアプローチは、$fracnlog n$ の要求するオラクル呼び出しの回数を削減します。論文の後半では、そのような仮定ができない場合を分析し、この問題を解決する方法の近代化方法に関する一般的なアプローチを提案する。
論文参考訳（メタデータ） (2020-05-12T16:44:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。