論文の概要: Fast and Provable Tensor Robust Principal Component Analysis via Scaled
Gradient Descent
- arxiv url: http://arxiv.org/abs/2206.09109v1
- Date: Sat, 18 Jun 2022 04:01:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 15:43:56.053801
- Title: Fast and Provable Tensor Robust Principal Component Analysis via Scaled
Gradient Descent
- Title(参考訳): スケールドグラディエントDescenceによる高速かつ予測可能なテンソルロバスト主成分分析
- Authors: Harry Dong, Tian Tong, Cong Ma, Yuejie Chi
- Abstract要約: 本稿では、テンソルロバスト主成分分析(RPCA)に取り組む。
希少な腐敗によって汚染された観測から低ランクのテンソルを回収することを目的としている。
提案アルゴリズムは, 最先端行列やテンソルRPCAアルゴリズムよりも, より優れた, よりスケーラブルな性能を実現する。
- 参考スコア(独自算出の注目度): 30.299284742925852
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An increasing number of data science and machine learning problems rely on
computation with tensors, which better capture the multi-way relationships and
interactions of data than matrices. When tapping into this critical advantage,
a key challenge is to develop computationally efficient and provably correct
algorithms for extracting useful information from tensor data that are
simultaneously robust to corruptions and ill-conditioning. This paper tackles
tensor robust principal component analysis (RPCA), which aims to recover a
low-rank tensor from its observations contaminated by sparse corruptions, under
the Tucker decomposition. To minimize the computation and memory footprints, we
propose to directly recover the low-dimensional tensor factors -- starting from
a tailored spectral initialization -- via scaled gradient descent (ScaledGD),
coupled with an iteration-varying thresholding operation to adaptively remove
the impact of corruptions. Theoretically, we establish that the proposed
algorithm converges linearly to the true low-rank tensor at a constant rate
that is independent with its condition number, as long as the level of
corruptions is not too large. Empirically, we demonstrate that the proposed
algorithm achieves better and more scalable performance than state-of-the-art
matrix and tensor RPCA algorithms through synthetic experiments and real-world
applications.
- Abstract(参考訳): データサイエンスと機械学習の問題の増加はテンソルによる計算に依存しており、行列よりもデータのマルチウェイ関係や相互作用をよりよく捉えている。
この重要な利点を活かす際、重要な課題は、腐敗と悪条件に同時に頑健なテンソルデータから有用な情報を抽出する計算効率が高く、確実に正しいアルゴリズムを開発することである。
本稿では,タッカー分解下でのばらばらな腐敗による観測から低位テンソルを回収することを目的とした,テンソルロバスト主成分分析(rpca)について述べる。
計算量とメモリフットプリントを最小化するために, スケールド勾配降下(scaledd)により, 低次元のテンソル因子 -- スペクトル初期化から始める -- を直接回復し, 反復変動しきい値操作と組み合わせ, 腐敗の影響を適応的に除去する。
理論的には、提案されたアルゴリズムは、腐敗のレベルが大きすぎない限り、条件数に依存しない定数率で真の低ランクテンソルに線形収束する。
実験により,提案アルゴリズムは,合成実験や実世界の応用を通じて,最先端行列やテンソルRPCAアルゴリズムよりも優れた,よりスケーラブルな性能を実現することを示した。
関連論文リスト
- Low-Tubal-Rank Tensor Recovery via Factorized Gradient Descent [22.801592340422157]
本稿では,Burer-Monteiro法に類似した因子分解法に基づく効率的かつ効果的な低ツバルテンソル回収法を提案する。
我々は,FGDのノイズフリーおよび雑音条件下での収束を確保するために,厳密な理論的解析を行う。
提案手法は,より高速な計算速度とより小さい収束誤差の観点から,複数のシナリオにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-22T13:30:11Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳(メタデータ) (2023-10-18T10:29:58Z) - Scalable and Robust Tensor Ring Decomposition for Large-scale Data [12.02023514105999]
本稿では,大規模テンソルデータに欠落したエントリと粗悪な破損を扱えるスケーラブルで堅牢なTR分解アルゴリズムを提案する。
まず, 欠落したエントリを適応的に満たし, 分解過程における外れ値の同定が可能な, 自己重み付き急勾配降下法を開発した。
論文 参考訳(メタデータ) (2023-05-15T22:08:47Z) - Deep Unfolded Tensor Robust PCA with Self-supervised Learning [21.710932587432396]
深部展開を用いたテンソルRPCAの高速かつ簡易な自己教師モデルについて述べる。
我々のモデルは、競争力やパフォーマンスを保ちながら、根拠となる真理ラベルの必要性を排除します。
我々はこれらの主張を、合成データと実世界のタスクの混合上で実証する。
論文 参考訳(メタデータ) (2022-12-21T20:34:42Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - Fast Robust Tensor Principal Component Analysis via Fiber CUR
Decomposition [8.821527277034336]
テンソルサブトラクション主成分分析 (TRPCA) の問題について検討し, 基礎となる低マルチランクテンソルとアウトラヤをその和から分離することを目的とした。
本研究では,経験的スパース問題に対する高速非線形分解アルゴリズムであるRobust CURCURを提案する。
論文 参考訳(メタデータ) (2021-08-23T23:49:40Z) - Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation
from Incomplete Measurements [30.395874385570007]
基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。
タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。
2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
論文 参考訳(メタデータ) (2021-04-29T17:44:49Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳(メタデータ) (2020-12-29T04:08:38Z) - Investigating the Scalability and Biological Plausibility of the
Activation Relaxation Algorithm [62.997667081978825]
アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。
このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。
また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
論文 参考訳(メタデータ) (2020-10-13T08:02:38Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。