論文の概要: Tensor-on-Tensor Regression: Riemannian Optimization,
Over-parameterization, Statistical-computational Gap, and Their Interplay
- arxiv url: http://arxiv.org/abs/2206.08756v3
- Date: Mon, 15 Jan 2024 22:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 03:57:56.535640
- Title: Tensor-on-Tensor Regression: Riemannian Optimization,
Over-parameterization, Statistical-computational Gap, and Their Interplay
- Title（参考訳）: テンソル・オン・テンソル回帰:リーマン最適化、過剰パラメータ化、統計計算ギャップ、それらの相互作用
- Authors: Yuetian Luo and Anru R. Zhang
- Abstract要約: テンソル・オン・テンソル回帰(tensor-on-tensor regression)について検討し、テンソル応答とテンソル共変量とをタッカー階数パラメータ/行列で結合する。
我々は、未知の階級の課題に対処する2つの方法を提案する。
一般テンソル・オン・テンソル回帰に対する最初の収束保証を提供する。
- 参考スコア（独自算出の注目度）: 9.427635404752936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the tensor-on-tensor regression, where the goal is to connect tensor
responses to tensor covariates with a low Tucker rank parameter tensor/matrix
without the prior knowledge of its intrinsic rank. We propose the Riemannian
gradient descent (RGD) and Riemannian Gauss-Newton (RGN) methods and cope with
the challenge of unknown rank by studying the effect of rank
over-parameterization. We provide the first convergence guarantee for the
general tensor-on-tensor regression by showing that RGD and RGN respectively
converge linearly and quadratically to a statistically optimal estimate in both
rank correctly-parameterized and over-parameterized settings. Our theory
reveals an intriguing phenomenon: Riemannian optimization methods naturally
adapt to over-parameterization without modifications to their implementation.
We also prove the statistical-computational gap in scalar-on-tensor regression
by a direct low-degree polynomial argument. Our theory demonstrates a "blessing
of statistical-computational gap" phenomenon: in a wide range of scenarios in
tensor-on-tensor regression for tensors of order three or higher, the
computationally required sample size matches what is needed by moderate rank
over-parameterization when considering computationally feasible estimators,
while there are no such benefits in the matrix settings. This shows moderate
rank over-parameterization is essentially "cost-free" in terms of sample size
in tensor-on-tensor regression of order three or higher. Finally, we conduct
simulation studies to show the advantages of our proposed methods and to
corroborate our theoretical findings.
- Abstract（参考訳）: テンソル・オン・テンソル回帰(tensor-on-tensor regression)は、テンソル応答をテンソル共変量とタッカー階数パラメータのテンソル/行列とを、その内在的な階数に関する事前の知識なしで接続することを目的としている。
リーマン勾配降下法(RGD)とリーマンガウスニュートン法(RGN)を提案し、ランクオーバーパラメータ化の効果を研究することによって未知ランクの挑戦に対処する。
rgd と rgn はそれぞれ線形および二次的に収束し, 次数に最適推定値を示すことにより, 一般のテンソル・オン・テンソル回帰に対する最初の収束保証を提供する。
リーマン最適化法は、その実装に修正を加えることなく、自然に過剰パラメータ化に適応する。
また,スカラー・オン・テンソル回帰の統計計算的ギャップを,直交低次多項式論により証明する。
3位以上のテンソルに対するテンソル・オン・テンソル回帰(tensor-on-tensor regression)の幅広いシナリオにおいて、計算上必要とされるサンプルサイズは、計算可能な推定量を考えるときに中程度のランクの過剰パラメータ化によって必要とされるものと一致するが、行列の設定にはそのような利点はない。
これは、3位以上のテンソル・オン・テンソル回帰におけるサンプルサイズの観点から、中等級の過剰パラメータ化は本質的に「コストフリー」であることを示している。
最後に,提案手法の利点を示すためにシミュレーション研究を行い,理論的な知見を裏付ける。
関連論文リスト
- Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition [27.29463801531576]
TTに基づくToT回帰モデルの理論的およびアルゴリズム的側面について検討する。
制約付き誤差境界に対する解を効率的に見つけるための2つのアルゴリズムを提案する。
我々はIHTとRGDの両方の線形収束速度を確立する。
論文 参考訳（メタデータ） (2024-06-10T03:51:38Z) - Guaranteed Nonconvex Factorization Approach for Tensor Train Recovery [30.876260188209105]
因子化アプローチに対する最初の収束保証を提供する。
いわゆる左直交TTフォーマットを最適化する。
我々はRGDが線形速度で基底真理を確実に回復できることを証明した。
論文 参考訳（メタデータ） (2024-01-05T01:17:16Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Online Tensor Learning: Computational and Statistical Trade-offs,
Adaptivity and Optimal Regret [17.29570708667132]
本稿では,線形モデルと一般化線形モデルの両方を包含したオンライン環境下での潜在低ランクテンソル推定フレームワークについて検討する。
また、オンラインテンソル補完とオンラインバイナリテンソル学習という2つの特定の応用についても検討する。
特に、我々の研究は、オンライン低ランクテンソルリカバリタスクにノイズを組み込む最初の試みである。
論文 参考訳（メタデータ） (2023-06-06T03:21:28Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation
from Incomplete Measurements [30.395874385570007]
基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。
タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。
2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
論文 参考訳（メタデータ） (2021-04-29T17:44:49Z) - Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical
Optimality and Second-Order Convergence [3.8073142980733]
雑音の多い線形測定値から低いタッカーランクテンソルを推定する。
文献におけるRGNの一般(超)線型収束保証とは違い、RGNの最初の局所二次収束保証を証明する。
上界と一致する決定論的推定誤差下界を設ける。
論文 参考訳（メタデータ） (2021-04-24T22:24:14Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。