論文の概要: Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition
- arxiv url: http://arxiv.org/abs/2406.06002v1
- Date: Mon, 10 Jun 2024 03:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 15:06:21.956162
- Title: Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition
- Title（参考訳）: テンソル列車分解によるテンソル・オン・テンソル回帰の計算・統計的保証
- Authors: Zhen Qin, Zhihui Zhu,
- Abstract要約: TTに基づくToT回帰モデルの理論的およびアルゴリズム的側面について検討する。
制約付き誤差境界に対する解を効率的に見つけるための2つのアルゴリズムを提案する。
我々はIHTとRGDの両方の線形収束速度を確立する。
- 参考スコア（独自算出の注目度）: 27.29463801531576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, a tensor-on-tensor (ToT) regression model has been proposed to generalize tensor recovery, encompassing scenarios like scalar-on-tensor regression and tensor-on-vector regression. However, the exponential growth in tensor complexity poses challenges for storage and computation in ToT regression. To overcome this hurdle, tensor decompositions have been introduced, with the tensor train (TT)-based ToT model proving efficient in practice due to reduced memory requirements, enhanced computational efficiency, and decreased sampling complexity. Despite these practical benefits, a disparity exists between theoretical analysis and real-world performance. In this paper, we delve into the theoretical and algorithmic aspects of the TT-based ToT regression model. Assuming the regression operator satisfies the restricted isometry property (RIP), we conduct an error analysis for the solution to a constrained least-squares optimization problem. This analysis includes upper error bound and minimax lower bound, revealing that such error bounds polynomially depend on the order $N+M$. To efficiently find solutions meeting such error bounds, we propose two optimization algorithms: the iterative hard thresholding (IHT) algorithm (employing gradient descent with TT-singular value decomposition (TT-SVD)) and the factorization approach using the Riemannian gradient descent (RGD) algorithm. When RIP is satisfied, spectral initialization facilitates proper initialization, and we establish the linear convergence rate of both IHT and RGD.
- Abstract（参考訳）: 近年,スカラー・オン・テンソル回帰やテンソル・オン・ベクトル回帰といったシナリオを含むテンソルリカバリの一般化を目的としたテンソル・オン・テンソル回帰モデルが提案されている。
しかし、テンソル複雑性の指数関数的増加は、ToT回帰の記憶と計算に困難をもたらす。
このハードルを克服するために、テンソルトレイン(TT)ベースのToTモデルにより、メモリ要求の低減、計算効率の向上、サンプリング複雑性の低減などにより、実際に効率的なテンソル分解が導入された。
これらの実用的な利点にもかかわらず、理論分析と実世界のパフォーマンスの間には相違がある。
本稿では,TTに基づくToT回帰モデルの理論的およびアルゴリズム的側面について検討する。
回帰作用素が制限等尺性(RIP)を満たすと仮定すると、制約最小二乗最適化問題に対する解の誤差解析を行う。
この解析は上限誤差境界とミニマックス下限を含むもので、そのような誤差境界は位数$N+M$に多項式的に依存することを示した。
このような誤差境界を満たす解を効率的に見つけるために、反復的ハードしきい値分解(TT-SVD)アルゴリズムとリーマン勾配分解(RGD)アルゴリズムを用いた分解手法の2つの最適化アルゴリズムを提案する。
RIPが満たされるとスペクトル初期化は適切な初期化を促進し、IHTとRGDの両方の線形収束速度を確立する。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:29:58Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳（メタデータ） (2023-09-29T20:18:52Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Tensor-on-Tensor Regression: Riemannian Optimization,
Over-parameterization, Statistical-computational Gap, and Their Interplay [9.427635404752936]
テンソル・オン・テンソル回帰(tensor-on-tensor regression)について検討し、テンソル応答とテンソル共変量とをタッカー階数パラメータ/行列で結合する。
我々は、未知の階級の課題に対処する2つの方法を提案する。
一般テンソル・オン・テンソル回帰に対する最初の収束保証を提供する。
論文 参考訳（メタデータ） (2022-06-17T13:15:27Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳（メタデータ） (2022-05-19T08:37:56Z) - Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression [17.158289775348063]
カーネル化されたテンソル回帰(BKTR)は、低ランクの時間構造を持つモデリングプロセスに対する新しいスケーラブルなアプローチと考えられる。
そこで本研究では,BKTRのモデル推定と推定において,BKTRの優れた性能と効率性を確認した。
論文 参考訳（メタデータ） (2021-08-31T19:22:23Z) - Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation
from Incomplete Measurements [30.395874385570007]
基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。
タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。
2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
論文 参考訳（メタデータ） (2021-04-29T17:44:49Z) - Alternating minimization algorithms for graph regularized tensor
completion [8.26185178671935]
我々は、低ランクテンソル完備化(LRTC)に対するカノニカルポリアディック(CP)分解法を考える。
グラフ正規化の使用にはLRTCの学習精度のメリットが伴うが、同時に結合グラフラプラシア語を誘導する。
基礎となるCP分解モデルにおけるブロック構造を利用して, 効率の良い同期最小化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-28T23:20:49Z) - An Optimal Statistical and Computational Framework for Generalized
Tensor Estimation [10.899518267165666]
本稿では,低ランクテンソル推定問題に対するフレキシブルなフレームワークについて述べる。
計算画像、ゲノミクス、ネットワーク解析の応用から多くの重要な例を含む。
論文 参考訳（メタデータ） (2020-02-26T01:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。