論文の概要: Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence

• arxiv url: http://arxiv.org/abs/2104.12031v4
• Date: Sun, 9 Jul 2023 02:04:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 19:54:24.856623
• Title: Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence
• Title（参考訳）: Riemannian Gauss-Newtonによる低ランクテンソル推定:統計的最適性と2次収束
• Authors: Yuetian Luo, Anru R. Zhang
• Abstract要約: 雑音の多い線形測定値から低いタッカーランクテンソルを推定する。 文献におけるRGNの一般(超)線型収束保証とは違い、RGNの最初の局所二次収束保証を証明する。 上界と一致する決定論的推定誤差下界を設ける。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider the estimation of a low Tucker rank tensor from a number of noisy linear measurements. The general problem covers many specific examples arising from applications, including tensor regression, tensor completion, and tensor PCA/SVD. We consider an efficient Riemannian Gauss-Newton (RGN) method for low Tucker rank tensor estimation. Different from the generic (super)linear convergence guarantee of RGN in the literature, we prove the first local quadratic convergence guarantee of RGN for low-rank tensor estimation in the noisy setting under some regularity conditions and provide the corresponding estimation error upper bounds. A deterministic estimation error lower bound, which matches the upper bound, is provided that demonstrates the statistical optimality of RGN. The merit of RGN is illustrated through two machine learning applications: tensor regression and tensor SVD. Finally, we provide the simulation results to corroborate our theoretical findings.
• Abstract（参考訳）: 本稿では, タッカー級のテンソルを, ノイズの少ない線形測定値から推定する。 一般的な問題は、テンソル回帰、テンソル完備化、テンソルPCA/SVDなど、応用から生じる多くの具体例をカバーする。 低タッカーランクテンソル推定のための効率的なリーマンガウスニュートン法(RGN)を提案する。 文献におけるRGNの一般(超)線形収束保証とは違い、正規性条件下での雑音条件下での低ランクテンソル推定に対するRGNの最初の局所二次収束保証を証明し、対応する推定誤差上限を与える。 rgnの統計的最適性を示す決定論的推定誤差が上限値に一致する。 RGNの利点は、テンソル回帰とテンソルSVDという2つの機械学習アプリケーションを通して説明される。 最後に,理論的な知見を裏付けるシミュレーション結果を提供する。

関連論文リスト

• Variance-Reducing Couplings for Random Features: Perspectives from Optimal Transport [57.73648780299374]
  ランダム機能(RF)は、機械学習におけるカーネルメソッドをスケールアップするための一般的なテクニックであり、正確なカーネル評価をモンテカルロ推定に置き換える。 我々は、理論的洞察と数値アルゴリズムを用いて最適な輸送の統一的な枠組みを用いて、ユークリッドおよび離散入力空間上で定義されたカーネルに対して、新しい高性能なRF結合を開発する。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Tensor-on-Tensor Regression: Riemannian Optimization, Over-parameterization, Statistical-computational Gap, and Their Interplay [9.427635404752936]
  テンソル・オン・テンソル回帰(tensor-on-tensor regression)について検討し、テンソル応答とテンソル共変量とをタッカー階数パラメータ/行列で結合する。 我々は、未知の階級の課題に対処する2つの方法を提案する。 一般テンソル・オン・テンソル回帰に対する最初の収束保証を提供する。
  論文  参考訳（メタデータ） (2022-06-17T13:15:27Z)
• Noisy Tensor Completion via Low-rank Tensor Ring [41.86521269183527]
  テンソル完了は不完全なデータ解析の基本的なツールであり、その目標は部分的な観測から欠落するエントリを予測することである。 既存の手法は、観測されたエントリがノイズフリーであるという明示的あるいは暗黙的な仮定をしばしば示し、欠落したエントリの正確な回復を理論的に保証する。 本稿では,高次・高次観測の劣化処理における既存の作業の非効率性を補完する新しいノイズテンソル補完モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-14T14:09:43Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)
• Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality [92.35257908210316]
  本研究では,不完全かつ破損した観測によって与えられる低ランクテンソルを推定する問題について検討する。 改善不可能なレートをell-2$の精度で達成できることが分かりました。
  論文  参考訳（メタデータ） (2020-06-15T17:47:13Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)
• An Optimal Statistical and Computational Framework for Generalized Tensor Estimation [10.899518267165666]
  本稿では,低ランクテンソル推定問題に対するフレキシブルなフレームワークについて述べる。 計算画像、ゲノミクス、ネットワーク解析の応用から多くの重要な例を含む。
  論文  参考訳（メタデータ） (2020-02-26T01:54:35Z)
• Tensor denoising and completion based on ordinal observations [11.193504036335503]
  我々は,不完全と思われる順序値の観測から,低ランクテンソル推定の問題を考える。 本稿では,マルチ線形累積リンクモデルを提案し,ランク制約付きM推定器を開発し,理論的精度の保証を得る。 提案した推定器は低ランクモデルのクラスにおいて最小限最適であることを示す。
  論文  参考訳（メタデータ） (2020-02-16T07:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。