論文の概要: Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent

• arxiv url: http://arxiv.org/abs/2206.09109v1
• Date: Sat, 18 Jun 2022 04:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 15:43:56.053801
• Title: Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent
• Title（参考訳）: スケールドグラディエントDescenceによる高速かつ予測可能なテンソルロバスト主成分分析
• Authors: Harry Dong, Tian Tong, Cong Ma, Yuejie Chi
• Abstract要約: 本稿では、テンソルロバスト主成分分析(RPCA)に取り組む。 希少な腐敗によって汚染された観測から低ランクのテンソルを回収することを目的としている。 提案アルゴリズムは, 最先端行列やテンソルRPCAアルゴリズムよりも, より優れた, よりスケーラブルな性能を実現する。
• 参考スコア（独自算出の注目度）: 30.299284742925852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An increasing number of data science and machine learning problems rely on computation with tensors, which better capture the multi-way relationships and interactions of data than matrices. When tapping into this critical advantage, a key challenge is to develop computationally efficient and provably correct algorithms for extracting useful information from tensor data that are simultaneously robust to corruptions and ill-conditioning. This paper tackles tensor robust principal component analysis (RPCA), which aims to recover a low-rank tensor from its observations contaminated by sparse corruptions, under the Tucker decomposition. To minimize the computation and memory footprints, we propose to directly recover the low-dimensional tensor factors -- starting from a tailored spectral initialization -- via scaled gradient descent (ScaledGD), coupled with an iteration-varying thresholding operation to adaptively remove the impact of corruptions. Theoretically, we establish that the proposed algorithm converges linearly to the true low-rank tensor at a constant rate that is independent with its condition number, as long as the level of corruptions is not too large. Empirically, we demonstrate that the proposed algorithm achieves better and more scalable performance than state-of-the-art matrix and tensor RPCA algorithms through synthetic experiments and real-world applications.
• Abstract（参考訳）: データサイエンスと機械学習の問題の増加はテンソルによる計算に依存しており、行列よりもデータのマルチウェイ関係や相互作用をよりよく捉えている。 この重要な利点を活かす際、重要な課題は、腐敗と悪条件に同時に頑健なテンソルデータから有用な情報を抽出する計算効率が高く、確実に正しいアルゴリズムを開発することである。 本稿では,タッカー分解下でのばらばらな腐敗による観測から低位テンソルを回収することを目的とした,テンソルロバスト主成分分析(rpca)について述べる。 計算量とメモリフットプリントを最小化するために, スケールド勾配降下(scaledd)により, 低次元のテンソル因子 -- スペクトル初期化から始める -- を直接回復し, 反復変動しきい値操作と組み合わせ, 腐敗の影響を適応的に除去する。 理論的には、提案されたアルゴリズムは、腐敗のレベルが大きすぎない限り、条件数に依存しない定数率で真の低ランクテンソルに線形収束する。 実験により,提案アルゴリズムは,合成実験や実世界の応用を通じて,最先端行列やテンソルRPCAアルゴリズムよりも優れた,よりスケーラブルな性能を実現することを示した。

関連論文リスト

• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Low-Tubal-Rank Tensor Recovery via Factorized Gradient Descent [22.801592340422157]
  本稿では,Burer-Monteiro法に類似した因子分解法に基づく効率的かつ効果的な低ツバルテンソル回収法を提案する。 我々は,FGDのノイズフリーおよび雑音条件下での収束を確保するために,厳密な理論的解析を行う。 提案手法は,より高速な計算速度とより小さい収束誤差の観点から,複数のシナリオにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-22T13:30:11Z)
• Scalable and Robust Tensor Ring Decomposition for Large-scale Data [12.02023514105999]
  本稿では,大規模テンソルデータに欠落したエントリと粗悪な破損を扱えるスケーラブルで堅牢なTR分解アルゴリズムを提案する。 まず, 欠落したエントリを適応的に満たし, 分解過程における外れ値の同定が可能な, 自己重み付き急勾配降下法を開発した。
  論文  参考訳（メタデータ） (2023-05-15T22:08:47Z)
• Fast Learnings of Coupled Nonnegative Tensor Decomposition Using Optimal Gradient and Low-rank Approximation [7.265645216663691]
  交互勾配法(CoNCPD-APG)により最適化された新しい非負のCANDECOMP/PARAFAC分解アルゴリズムを提案する。 提案手法は,低ランク近似をCONCPD-APG法と組み合わせることで,分解品質を損なうことなく計算負担を大幅に削減することができる。
  論文  参考訳（メタデータ） (2023-02-10T08:49:36Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Fast Robust Tensor Principal Component Analysis via Fiber CUR Decomposition [8.821527277034336]
  テンソルサブトラクション主成分分析 (TRPCA) の問題について検討し, 基礎となる低マルチランクテンソルとアウトラヤをその和から分離することを目的とした。 本研究では,経験的スパース問題に対する高速非線形分解アルゴリズムであるRobust CURCURを提案する。
  論文  参考訳（メタデータ） (2021-08-23T23:49:40Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)
• Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm [62.997667081978825]
  アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。 このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。 また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
  論文  参考訳（メタデータ） (2020-10-13T08:02:38Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。