論文の概要: A Scalable Factorization Approach for High-Order Structured Tensor Recovery

• arxiv url: http://arxiv.org/abs/2506.16032v1
• Date: Thu, 19 Jun 2025 05:07:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.944667
• Title: A Scalable Factorization Approach for High-Order Structured Tensor Recovery
• Title（参考訳）: 高次構造的テンソル復元のためのスケーラブルな因子分解法
• Authors: Zhen Qin, Michael B. Wakin, Zhihui Zhu,
• Abstract要約: 分解は、非常に小さな次元の約$N$因子を使って$N$のテンソルを表すが、パラメータの数を著しく減少させる。 これらの問題に対する計算的メモリ効率のアプローチは、局所アルゴリズムを用いた因子を直接的に最適化することである。 様々なテンソル分解問題を解くための因子分解の統一的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 30.876260188209105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor decompositions, which represent an $N$-order tensor using approximately $N$ factors of much smaller dimensions, can significantly reduce the number of parameters. This is particularly beneficial for high-order tensors, as the number of entries in a tensor grows exponentially with the order. Consequently, they are widely used in signal recovery and data analysis across domains such as signal processing, machine learning, and quantum physics. A computationally and memory-efficient approach to these problems is to optimize directly over the factors using local search algorithms such as gradient descent, a strategy known as the factorization approach in matrix and tensor optimization. However, the resulting optimization problems are highly nonconvex due to the multiplicative interactions between factors, posing significant challenges for convergence analysis and recovery guarantees. In this paper, we present a unified framework for the factorization approach to solving various tensor decomposition problems. Specifically, by leveraging the canonical form of tensor decompositions--where most factors are constrained to be orthonormal to mitigate scaling ambiguity--we apply Riemannian gradient descent (RGD) to optimize these orthonormal factors on the Stiefel manifold. Under a mild condition on the loss function, we establish a Riemannian regularity condition for the factorized objective and prove that RGD converges to the ground-truth tensor at a linear rate when properly initialized. Notably, both the initialization requirement and the convergence rate scale polynomially rather than exponentially with $N$, improving upon existing results for Tucker and tensor-train format tensors.
• Abstract（参考訳）: テンソル分解は、非常に小さな次元の約$N$因子を用いて$N$次テンソルを表すが、パラメータの数を著しく減少させる。 これは高次テンソルにとって特に有益であり、テンソルの成分の数は順序とともに指数関数的に増加する。 その結果、信号の回復や信号処理、機械学習、量子物理学といった分野におけるデータ分析に広く用いられている。 これらの問題に対する計算的かつメモリ効率のよいアプローチは、行列やテンソル最適化における因子分解アプローチとして知られる、勾配降下のような局所探索アルゴリズムを用いて直接的に因子を最適化することである。 しかし、結果の最適化問題は、因子間の乗法的相互作用によって非常に非凸であり、収束解析と回復保証の重要な課題を提起する。 本稿では,様々なテンソル分解問題を解くための因子分解手法の統一的枠組みを提案する。 具体的には、テンソル分解の正準形式を活用することにより、ほとんどの因子は、スケーリングのあいまいさを軽減するために正則に制限される。 損失関数の軽度条件の下では、因子化対象に対するリーマン正則性条件を確立し、RGDが適切に初期化されたとき、線形速度で基底トラステンソルに収束することを証明する。 特に、初期化条件と収束速度は指数関数的に$N$ではなく多項式的にスケールし、タッカーおよびテンソルトレイン形式テンソルの既存の結果を改善する。

関連論文リスト

• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition [27.29463801531576]
  TTに基づくToT回帰モデルの理論的およびアルゴリズム的側面について検討する。 制約付き誤差境界に対する解を効率的に見つけるための2つのアルゴリズムを提案する。 我々はIHTとRGDの両方の線形収束速度を確立する。
  論文  参考訳（メタデータ） (2024-06-10T03:51:38Z)
• Guaranteed Nonconvex Factorization Approach for Tensor Train Recovery [30.876260188209105]
  因子化アプローチに対する最初の収束保証を提供する。 いわゆる左直交TTフォーマットを最適化する。 我々はRGDが線形速度で基底真理を確実に回復できることを証明した。
  論文  参考訳（メタデータ） (2024-01-05T01:17:16Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Decomposition of linear tensor transformations [0.0]
  本研究の目的は, 正確なテンソル分解のための数学的枠組みを開発することである。 論文では3つの異なる問題を導出する。
  論文  参考訳（メタデータ） (2023-09-14T16:14:38Z)
• Error Analysis of Tensor-Train Cross Approximation [88.83467216606778]
  我々は, テンソル全体の精度保証を行う。 結果は数値実験により検証され、高次テンソルに対するクロス近似の有用性に重要な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2022-07-09T19:33:59Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。