論文の概要: Learnable Scaled Gradient Descent for Guaranteed Robust Tensor PCA
- arxiv url: http://arxiv.org/abs/2501.04565v1
- Date: Wed, 08 Jan 2025 15:25:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:55:54.633047
- Title: Learnable Scaled Gradient Descent for Guaranteed Robust Tensor PCA
- Title（参考訳）: ロバスト・テンソルPCAの学習用スケールド・グラディエント・ディフレッシュ
- Authors: Lanlan Feng, Ce Zhu, Yipeng Liu, Saiprasad Ravishankar, Longxiu Huang,
- Abstract要約: 本稿では, t-SVD フレームワーク内での効率的なスケールド勾配降下(SGD)手法を提案する。
RTPCA-SGD は条件数に依存しない定数速度で真の低ランクテンソルへの線形収束を実現する。
- 参考スコア（独自算出の注目度）: 39.084456109467204
- License:
- Abstract: Robust tensor principal component analysis (RTPCA) aims to separate the low-rank and sparse components from multi-dimensional data, making it an essential technique in the signal processing and computer vision fields. Recently emerging tensor singular value decomposition (t-SVD) has gained considerable attention for its ability to better capture the low-rank structure of tensors compared to traditional matrix SVD. However, existing methods often rely on the computationally expensive tensor nuclear norm (TNN), which limits their scalability for real-world tensors. To address this issue, we explore an efficient scaled gradient descent (SGD) approach within the t-SVD framework for the first time, and propose the RTPCA-SGD method. Theoretically, we rigorously establish the recovery guarantees of RTPCA-SGD under mild assumptions, demonstrating that with appropriate parameter selection, it achieves linear convergence to the true low-rank tensor at a constant rate, independent of the condition number. To enhance its practical applicability, we further propose a learnable self-supervised deep unfolding model, which enables effective parameter learning. Numerical experiments on both synthetic and real-world datasets demonstrate the superior performance of the proposed methods while maintaining competitive computational efficiency, especially consuming less time than RTPCA-TNN.
- Abstract（参考訳）: ロバストテンソル主成分分析(RTPCA)は、低ランク成分とスパース成分を多次元データから分離することを目的としており、信号処理とコンピュータビジョン分野において重要な技術である。
近年出現するテンソル特異値分解(t-SVD)は,従来の行列SVDと比較してテンソルの低ランク構造をよりよく捉える能力に注目されている。
しかし、既存の手法はしばしば計算に高価なテンソル核ノルム(TNN)に依存しており、これは実世界のテンソルのスケーラビリティを制限している。
この問題に対処するために, t-SVDフレームワーク内での効率的なスケールド勾配降下(SGD)手法を初めて検討し, RTPCA-SGD法を提案する。
理論的には, RTPCA-SGDの回復保証を軽微な仮定で厳格に確立し, パラメータ選択を適切に行うと, 条件数に依存しない一定速度で真の低ランクテンソルへの線形収束が得られることを示す。
さらに,本手法の適用性を高めるために,効果的なパラメータ学習を実現する学習可能な自己教師型深層展開モデルを提案する。
合成および実世界の両方のデータセットに関する数値実験は、競合計算効率を維持しながら、提案手法の優れた性能を示し、特にRTPCA-TNNよりも少ない時間を消費する。
関連論文リスト
- Statistical Inference for Low-Rank Tensor Models [6.461409103746828]
本稿では,低タッカーランク信号テンソルの一般および低タッカーランク線形汎関数を推定するための統一的枠組みを提案する。
退化戦略の活用とロータッカーランク多様体の接空間への射影により、一般および構造化線型汎函数の推論が可能となる。
論文 参考訳（メタデータ） (2025-01-27T17:14:35Z) - tCURLoRA: Tensor CUR Decomposition Based Low-Rank Parameter Adaptation and Its Application in Medical Image Segmentation [1.3281936946796913]
伝達学習は、事前訓練されたモデルからの知識を活用することで、目標タスクの性能を大幅に向上させた。
ディープニューラルネットワークのスケールアップに伴って、フル微調整によって、計算とストレージの大幅な課題がもたらされる。
テンソルCUR分解に基づく新しい微調整法であるtCURLoRAを提案する。
論文 参考訳（メタデータ） (2025-01-04T08:25:32Z) - Deep Unfolded Tensor Robust PCA with Self-supervised Learning [21.710932587432396]
深部展開を用いたテンソルRPCAの高速かつ簡易な自己教師モデルについて述べる。
我々のモデルは、競争力やパフォーマンスを保ちながら、根拠となる真理ラベルの必要性を排除します。
我々はこれらの主張を、合成データと実世界のタスクの混合上で実証する。
論文 参考訳（メタデータ） (2022-12-21T20:34:42Z) - Fast and Provable Tensor Robust Principal Component Analysis via Scaled
Gradient Descent [30.299284742925852]
本稿では、テンソルロバスト主成分分析(RPCA)に取り組む。
希少な腐敗によって汚染された観測から低ランクのテンソルを回収することを目的としている。
提案アルゴリズムは, 最先端行列やテンソルRPCAアルゴリズムよりも, より優れた, よりスケーラブルな性能を実現する。
論文 参考訳（メタデータ） (2022-06-18T04:01:32Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳（メタデータ） (2022-05-19T08:37:56Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-04-27T16:56:09Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳（メタデータ） (2021-03-07T00:15:44Z) - Efficient Structure-preserving Support Tensor Train Machine [0.0]
列車マルチウェイマルチレベルカーネル(TT-MMK)
我々は,ポリアディック分解の単純さ,デュアル構造保存支援機の分類能力,およびTrain Vector近似の信頼性を組み合わせたTrain Multi-way Multi-level Kernel(TT-MMK)を開発した。
実験により,TT-MMK法は通常より信頼性が高く,チューニングパラメータに敏感で,他の最先端技術と比較した場合のSVM分類において高い予測精度が得られた。
論文 参考訳（メタデータ） (2020-02-12T16:35:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。