論文の概要: A Sharp Blockwise Tensor Perturbation Bound for Orthogonal Iteration
- arxiv url: http://arxiv.org/abs/2008.02437v2
- Date: Sat, 5 Jun 2021 20:34:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 07:13:13.412449
- Title: A Sharp Blockwise Tensor Perturbation Bound for Orthogonal Iteration
- Title（参考訳）: 直交反復に対するシャープブロックワイドテンソル摂動境界
- Authors: Yuetian Luo and Garvesh Raskutti and Ming Yuan and Anru R. Zhang
- Abstract要約: 高次直交反復(HOOI)に対するブロックワイドテンソル摂動境界を確立する。
モード-$k$特異部分空間推定の上限は、摂動と信号強度のブロックワイズ誤差を特徴とする量に一側収束することを示す。
一つの反復しか持たない一段階 HOOI がテンソル再構成の点でも最適であり,計算コストの低減に有効であることを示す。
- 参考スコア（独自算出の注目度）: 23.308822706415867
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we develop novel perturbation bounds for the high-order
orthogonal iteration (HOOI) [DLDMV00b]. Under mild regularity conditions, we
establish blockwise tensor perturbation bounds for HOOI with guarantees for
both tensor reconstruction in Hilbert-Schmidt norm $\|\widehat{\bcT} - \bcT
\|_{\tHS}$ and mode-$k$ singular subspace estimation in Schatten-$q$ norm $\|
\sin \Theta (\widehat{\U}_k, \U_k) \|_q$ for any $q \geq 1$. We show the upper
bounds of mode-$k$ singular subspace estimation are unilateral and converge
linearly to a quantity characterized by blockwise errors of the perturbation
and signal strength. For the tensor reconstruction error bound, we express the
bound through a simple quantity $\xi$, which depends only on perturbation and
the multilinear rank of the underlying signal. Rate matching deterministic
lower bound for tensor reconstruction, which demonstrates the optimality of
HOOI, is also provided. Furthermore, we prove that one-step HOOI (i.e., HOOI
with only a single iteration) is also optimal in terms of tensor reconstruction
and can be used to lower the computational cost. The perturbation results are
also extended to the case that only partial modes of $\bcT$ have low-rank
structure. We support our theoretical results by extensive numerical studies.
Finally, we apply the novel perturbation bounds of HOOI on two applications,
tensor denoising and tensor co-clustering, from machine learning and
statistics, which demonstrates the superiority of the new perturbation results.
- Abstract（参考訳）: 本稿では,高次直交反復(hooi) [dldmv00b] のための新しい摂動境界を開発した。
穏やかな正規性条件の下では、ヒルベルト=シュミットノルム$\|\widehat{\bct} - \bct \|_{\ths}$ とmode-$k$ の単数部分空間推定をシュアッテン=$q$ノルム$\| \sin \theta (\widehat{\u}_k, \u_k) \|_q$ で両テンソル再構成の保証付きでhooiのブロック回りのテンソル摂動境界を確立する。
モード-$k$単数部分空間推定の上限は一意的であり、摂動と信号強度のブロック的誤差によって特徴づけられる量に線形収束する。
テンソル再構成誤差(tensor reconstruction error bound)は、信号の摂動と多重線形階数のみに依存する単純な量$\xi$ で表される。
フーイの最適性を示すテンソル再構成のための速度マッチング決定論的下限も提供される。
さらに,一段階のフーイ(単回反復のみのフーイ)もテンソル再構成の点で最適であり,計算コストの低減に利用できることを証明した。
摂動結果は、$\bcT$の部分モードのみが低ランク構造を持つ場合にも拡張される。
我々は広範な数値研究によって理論結果を支持する。
最後に,HOOIの新しい摂動境界を,機械学習と統計学からテンソル認知とテンソル共クラスタリングという2つの応用に適用し,新しい摂動結果の優位性を示す。
関連論文リスト
- Orthogonal Constrained Minimization with Tensor $\ell_{2,p}$ Regularization for HSI Denoising and Destriping [9.158391874035011]
ハイパースペクトル画像(HSI)は、ガウスノイズ、デッドライン、ストライプなどの混合ノイズによって汚染されることが多い。
我々は,NLTL2pと呼ばれるHSIデノベーションとデトリップのための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-07-04T03:33:19Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Efficiency of First-Order Methods for Low-Rank Tensor Recovery with the
Tensor Nuclear Norm Under Strict Complementarity [19.930021245647705]
テンソル核ノルムによって誘導される球上での制約反復に基づく低ランクテンソルの回収のための凸緩和について考察する。
厳密な相補性条件の下では、標準勾配法の収束率と点当たりのランタイムの両方が劇的に改善される。
論文 参考訳（メタデータ） (2023-08-03T10:31:22Z) - Estimating Higher-Order Mixed Memberships via the $\ell_{2,\infty}$
Tensor Perturbation Bound [8.521132000449766]
テンソルブロックモデルの一般化であるテンソル混合メンバーシップブロックモデルを提案する。
我々は,モデルの同定可能性を確立し,計算効率の良い推定手法を提案する。
本手法を実データおよびシミュレーションデータに適用し,個別のコミュニティメンバーシップを持つモデルから特定できない効果を示す。
論文 参考訳（メタデータ） (2022-12-16T18:32:20Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Lattice partition recovery with dyadic CART [79.96359947166592]
我々は、$d$次元格子上の加法ガウス雑音によって破損したピースワイド定値信号について検討する。
この形式のデータは、多くのアプリケーションで自然に発生し、統計処理や信号処理の文献において、信号の検出やテスト、ノイズの除去、推定といったタスクが広く研究されている。
本稿では,未知の信号の一貫性領域によって誘導される格子の分割を推定する,分割回復の問題について考察する。
我々は、DCARTベースの手順が、下位分割を$sigma2 k*の順序で一貫して推定することを証明した。
論文 参考訳（メタデータ） (2021-05-27T23:41:01Z) - Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation
from Incomplete Measurements [30.395874385570007]
基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。
タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。
2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
論文 参考訳（メタデータ） (2021-04-29T17:44:49Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳（メタデータ） (2020-04-30T11:52:12Z) - Tensor denoising and completion based on ordinal observations [11.193504036335503]
我々は,不完全と思われる順序値の観測から,低ランクテンソル推定の問題を考える。
本稿では,マルチ線形累積リンクモデルを提案し,ランク制約付きM推定器を開発し,理論的精度の保証を得る。
提案した推定器は低ランクモデルのクラスにおいて最小限最適であることを示す。
論文 参考訳（メタデータ） (2020-02-16T07:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。