論文の概要: On Estimating Rank-One Spiked Tensors in the Presence of Heavy Tailed Errors

• arxiv url: http://arxiv.org/abs/2107.09660v1
• Date: Tue, 20 Jul 2021 17:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:51:15.376835
• Title: On Estimating Rank-One Spiked Tensors in the Presence of Heavy Tailed Errors
• Title（参考訳）: 重尾誤差の存在下でのランク1スパイクテンソルの推定について
• Authors: Arnab Auddy and Ming Yuan
• Abstract要約: 重く尾のノイズが存在する場合のランク1スパイクテンソルの推定について検討した。 この結果から,統計的および計算効率のトレードオフにおける基本的な類似点と相違点が浮き彫りにされた。
• 参考スコア（独自算出の注目度）: 10.166435679260015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the estimation of a rank-one spiked tensor in the presence of heavy tailed noise. Our results highlight some of the fundamental similarities and differences in the tradeoff between statistical and computational efficiencies under heavy tailed and Gaussian noise. In particular, we show that, for $p$ th order tensors, the tradeoff manifests in an identical fashion as the Gaussian case when the noise has finite $4(p-1)$ th moment. The difference in signal strength requirements, with or without computational constraints, for us to estimate the singular vectors at the optimal rate, interestingly, narrows for noise with heavier tails and vanishes when the noise only has finite fourth moment. Moreover, if the noise has less than fourth moment, tensor SVD, perhaps the most natural approach, is suboptimal even though it is computationally intractable. Our analysis exploits a close connection between estimating the rank-one spikes and the spectral norm of a random tensor with iid entries. In particular, we show that the order of the spectral norm of a random tensor can be precisely characterized by the moment of its entries, generalizing classical results for random matrices. In addition to the theoretical guarantees, we propose estimation procedures for the heavy tailed regime, which are easy to implement and efficient to run. Numerical experiments are presented to demonstrate their practical merits.
• Abstract（参考訳）: 本稿では,重く尾部ノイズの存在下でのランク1スパイクテンソルの推定について検討する。 以上の結果から,重み付きおよびガウス雑音下での統計的および計算効率のトレードオフの基本的な類似点と相違点が明らかになった。 特に、$p$ th のテンソルに対して、ノイズが 4(p-1)$ th のモーメントで有限であるとき、トレードオフはガウスケースと同一の方法で現れることを示す。 信号強度の要件の差は、計算の制約の有無にかかわらず、特異ベクトルを最適速度で推定することであり、興味深いことに、ノイズが有限の4モーメントしか持たない場合、より重いテールのノイズは狭くなり消滅する。 さらに、ノイズが第4モーメント以下である場合、おそらく最も自然なアプローチであるテンソルsvdは、計算上難解であるにもかかわらず、準最適である。 本分析では,ランクワンスパイクの推定と,iidエントリを持つランダムテンソルのスペクトルノルムとの密接な関係を利用した。 特に、ランダムテンソルのスペクトルノルムの順序は、そのエントリのモーメントによって正確に特徴づけられ、ランダム行列に対する古典結果の一般化が示されている。 理論的な保証に加えて, 実装が容易で, 実行が容易な重尾構造の推定手順を提案する。 数値実験は,その実用性を示すものである。

関連論文リスト

• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Error Analysis of Tensor-Train Cross Approximation [88.83467216606778]
  我々は, テンソル全体の精度保証を行う。 結果は数値実験により検証され、高次テンソルに対するクロス近似の有用性に重要な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2022-07-09T19:33:59Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation [50.85788484752612]
  ノイズコントラスト推定(NCE)は、非正規化確率モデルを学習するための統計的に一貫した手法である。 ノイズ分布の選択がNCEの性能に不可欠であることが実験的に観察されている。 本研究では,不適切な雑音分布を用いた場合,NCEの性能低下の原因を正式に指摘する。
  論文  参考訳（メタデータ） (2021-10-21T16:57:45Z)
• Denoising Score Matching with Random Fourier Features [11.60130641443281]
  Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。 得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
  論文  参考訳（メタデータ） (2021-01-13T18:02:39Z)
• TenIPS: Inverse Propensity Sampling for Tensor Completion [34.209486541525294]
  MNAR観測による部分観察テンソルの完成問題について検討した。 元のテンソルと確率テンソルの両方が、多線型ランクが低いと仮定する。 このアルゴリズムはまず凸リラクゼーションを用いて確率を推定し、次に高次SVDアプローチを用いて欠落値を予測する。
  論文  参考訳（メタデータ） (2021-01-01T22:13:19Z)
• Estimating Rank-One Spikes from Heavy-Tailed Noise via Self-Avoiding Walks [13.879536370173506]
  ノイズ分布の一般クラスに関する対称スパイク行列モデルについて検討する。 ガウス雑音に対しても最適なBBPしきい値まで重み付き雑音を推定する推定器を示す。 我々の推定器はカラーコーディング技術を用いて自己回避ウォークを数えることで時間的に評価できる。
  論文  参考訳（メタデータ） (2020-08-31T16:57:20Z)
• Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations [22.928734507082574]
  部分的および雑音的な観測から, スパース非負のテンソル分解と完成問題について検討した。 提案手法の誤差境界は, 一般の騒音観測において確立可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-21T07:17:52Z)
• Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality [92.35257908210316]
  本研究では,不完全かつ破損した観測によって与えられる低ランクテンソルを推定する問題について検討する。 改善不可能なレートをell-2$の精度で達成できることが分かりました。
  論文  参考訳（メタデータ） (2020-06-15T17:47:13Z)
• Tensor denoising and completion based on ordinal observations [11.193504036335503]
  我々は,不完全と思われる順序値の観測から,低ランクテンソル推定の問題を考える。 本稿では,マルチ線形累積リンクモデルを提案し,ランク制約付きM推定器を開発し,理論的精度の保証を得る。 提案した推定器は低ランクモデルのクラスにおいて最小限最適であることを示す。
  論文  参考訳（メタデータ） (2020-02-16T07:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。