論文の概要: Revisit CP Tensor Decomposition: Statistical Optimality and Fast Convergence

• arxiv url: http://arxiv.org/abs/2505.23046v1
• Date: Thu, 29 May 2025 03:42:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.658304
• Title: Revisit CP Tensor Decomposition: Statistical Optimality and Fast Convergence
• Title（参考訳）: Revisit CP Tensor Decomposition: 統計的最適性と高速収束
• Authors: Runshi Tang, Julien Chhor, Olga Klopp, Anru R. Zhang,
• Abstract要約: 統計学的観点からカノニカルポリアディクス(CP)テンソル分解を再検討する。 本稿では,信号+雑音モデルに基づくAlternating Least Squares(ALS)の包括的理論的解析を行う。
• 参考スコア（独自算出の注目度）: 6.724750970258851
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Canonical Polyadic (CP) tensor decomposition is a fundamental technique for analyzing high-dimensional tensor data. While the Alternating Least Squares (ALS) algorithm is widely used for computing CP decomposition due to its simplicity and empirical success, its theoretical foundation, particularly regarding statistical optimality and convergence behavior, remain underdeveloped, especially in noisy, non-orthogonal, and higher-rank settings. In this work, we revisit CP tensor decomposition from a statistical perspective and provide a comprehensive theoretical analysis of ALS under a signal-plus-noise model. We establish non-asymptotic, minimax-optimal error bounds for tensors of general order, dimensions, and rank, assuming suitable initialization. To enable such initialization, we propose Tucker-based Approximation with Simultaneous Diagonalization (TASD), a robust method that improves stability and accuracy in noisy regimes. Combined with ALS, TASD yields a statistically consistent estimator. We further analyze the convergence dynamics of ALS, identifying a two-phase pattern-initial quadratic convergence followed by linear refinement. We further show that in the rank-one setting, ALS with an appropriately chosen initialization attains optimal error within just one or two iterations.
• Abstract（参考訳）: カノニカルポリアディックテンソル分解は高次元テンソルデータを解析するための基礎技術である。 Alternating Least Squares (ALS) アルゴリズムは、単純さと経験的成功のためにCP分解の計算に広く用いられているが、その理論基盤、特に統計的最適性や収束挙動は、特にノイズ、非直交、高階の設定において未発達のままである。 本研究では,統計的観点からCPテンソル分解を再検討し,信号+雑音モデルに基づくALSの包括的理論的解析を行う。 一般次数、次元、ランクのテンソルに対して、適切な初期化を仮定して、漸近的で最小限の誤差境界を確立する。 このような初期化を実現するために,雑音条件下での安定性と精度を向上させる頑健な手法であるTASDを用いたタッカーベース近似を提案する。 ALSと組み合わせると、TASDは統計的に一貫した推定値が得られる。 さらに、ALSの収束ダイナミクスを解析し、2相パターンの初期2次収束と線形洗練された2次収束を同定する。 さらに、ランクワン設定では、適切に選択された初期化を持つALSが、1～2回のイテレーションで最適誤差が得られることを示す。

関連論文リスト

• A Random Matrix Approach to Low-Multilinear-Rank Tensor Approximation [24.558241146742205]
  本研究では,データテンソルの展開のスペクトルの多次元的挙動を特徴付け,信号の主方向の検出性を決定する関連信号-雑音比を示す。 その結果,非自明な状態下でのマルチリニアSVD (MLSVD) の再構成性能を正確に予測することができた。
  論文  参考訳（メタデータ） (2024-02-05T16:38:30Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Tensor Principal Component Analysis in High Dimensional CP Models [3.553493344868413]
  軽度不整合条件下での理論的保証を考慮したテンソルCP分解のための新しいアルゴリズムを提案する。 複合PCAは、主成分又は特異値分解を2回施し、まずテンソルデータの展開行列に施して特異ベクトルを得る。 提案手法は, 既存の手法に比べて, 提案手法の実用的優位性を示すものである。
  論文  参考訳（メタデータ） (2021-08-10T03:24:32Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。