論文の概要: NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient
Descent
- arxiv url: http://arxiv.org/abs/2003.08844v1
- Date: Wed, 18 Mar 2020 04:44:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 09:41:00.407659
- Title: NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient
Descent
- Title（参考訳）: necpd:最適確率勾配降下を伴うオンラインテンソル分解
- Authors: Ali Anaissi, Basem Suleiman, Seid Miad Zandavi
- Abstract要約: マルチウェイオンラインデータに基づく$(N)Nにおける非効率的な問題に対して,NeCPDという新しい効率的な分解アルゴリズムを提案する。
さらに,本手法を構造的データセットを用いた実生活モニタリングの分野に適用する。
- 参考スコア（独自算出の注目度）: 1.0953917735844645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-way data analysis has become an essential tool for capturing underlying
structures in higher-order datasets stored in tensor $\mathcal{X} \in
\mathbb{R} ^{I_1 \times \dots \times I_N} $. $CANDECOMP/PARAFAC$ (CP)
decomposition has been extensively studied and applied to approximate
$\mathcal{X}$ by $N$ loading matrices $A^{(1)}, \dots, A^{(N)}$ where $N$
represents the order of the tensor. We propose a new efficient CP decomposition
solver named NeCPD for non-convex problem in multi-way online data based on
stochastic gradient descent (SGD) algorithm. SGD is very useful in online
setting since it allows us to update $\mathcal{X}^{(t+1)}$ in one single step.
In terms of global convergence, it is well known that SGD stuck in many saddle
points when it deals with non-convex problems. We study the Hessian matrix to
identify theses saddle points, and then try to escape them using the
perturbation approach which adds little noise to the gradient update step. We
further apply Nesterov's Accelerated Gradient (NAG) method in SGD algorithm to
optimally accelerate the convergence rate and compensate Hessian computational
delay time per epoch. Experimental evaluation in the field of structural health
monitoring using laboratory-based and real-life structural datasets show that
our method provides more accurate results compared with existing online tensor
analysis methods.
- Abstract（参考訳）: マルチウェイデータ分析は、テンソル $\mathcal{X} \in \mathbb{R} ^{I_1 \times \dots \times I_N} $ に格納された高次データセットの基盤構造をキャプチャするための重要なツールとなっている。
CANDECOMP/PARAFAC$ (CP)分解は広く研究され、$\mathcal{X}$ by $N$ loading matrices $A^{(1)}, \dots, A^{(N)}$ ここで$N$はテンソルの順序を表す。
確率勾配勾配(SGD)アルゴリズムに基づくマルチウェイオンラインデータにおける非凸問題に対するNeCPDという新しい効率的なCP分解解法を提案する。
SGDは1ステップで$\mathcal{X}^{(t+1)}$を更新できるので、オンライン設定では非常に便利です。
大域収束に関しては、SGDが非凸問題を扱う際に多くのサドル点に留まることが知られている。
ヘシアン行列を解析し,これらの鞍点を同定し,勾配更新ステップにノイズをほとんど付加しない摂動法を用いてそれらから逃れようとする。
さらに,Nesterov の Accelerated Gradient (NAG) 法をSGD アルゴリズムに適用し,収束速度を最適に高速化し,エポック毎のヘシアン計算遅延時間を補償する。
実験室ベースおよび実生活構造データセットを用いた構造健康モニタリングの分野での実験的な評価により,既存のオンラインテンソル解析法と比較して,より正確な結果が得られた。
関連論文リスト
- Modified Step Size for Enhanced Stochastic Gradient Descent: Convergence
and Experiments [0.0]
本稿では,$frac1sqrtttをベースとした変形ステップサイズを改良することにより,勾配降下法(SGD)アルゴリズムの性能向上に新たなアプローチを提案する。
提案されたステップサイズは対数的なステップ項を統合し、最終イテレーションでより小さな値を選択する。
提案手法の有効性について,FashionMNISTとARARを用いて画像分類タスクの数値実験を行った。
論文 参考訳（メタデータ） (2023-09-03T19:21:59Z) - A Fast Parallel Tensor Decomposition with Optimal Stochastic Gradient
Descent: an Application in Structural Damage Identification [1.536989504296526]
本稿では, CANDECOMP/PARAFAC (CP) 分解を mathbbR I_1 times dots times I_N $ で並列化する新しいアルゴリズム FP-CPD を提案する。
論文 参考訳（メタデータ） (2021-11-04T05:17:07Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z) - Sample Complexity Bounds for Two Timescale Value-based Reinforcement
Learning Algorithms [65.09383385484007]
2つの時間スケール近似(SA)は、値に基づく強化学習アルゴリズムで広く使われている。
本稿では,2つの時間スケール線形および非線形TDCとGreedy-GQアルゴリズムの漸近収束率について検討する。
論文 参考訳（メタデータ） (2020-11-10T11:36:30Z) - Gradient-Based Empirical Risk Minimization using Local Polynomial
Regression [39.29885444997579]
この論文の主な目標は、勾配降下(GD)や勾配降下(SGD)といった異なるアルゴリズムを比較することである。
損失関数がデータのスムーズな場合、各反復でオラクルを学習し、GDとSGDの両方のオラクル複雑度に打ち勝つことができることを示す。
論文 参考訳（メタデータ） (2020-11-04T20:10:31Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - On Riemannian Gradient-Based Methods for Minimax Problems [24.199289678553896]
ミニマックス問題を解くためのリーマン的手法のクラスを提案する。
我々はRGDAが$tildeO(kappa4eps-3)$であることを示す。
また、Acc-RSGDAが$tildeO(kappa4eps-3)$に対してより低いサンプル複雑性を実現することも示しています。
論文 参考訳（メタデータ） (2020-10-13T00:54:00Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - On the Almost Sure Convergence of Stochastic Gradient Descent in
Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。
我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文 参考訳（メタデータ） (2020-06-19T14:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。