論文の概要: Spectral Methods for Data Science: A Statistical Perspective
- arxiv url: http://arxiv.org/abs/2012.08496v1
- Date: Tue, 15 Dec 2020 18:40:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 09:33:58.912010
- Title: Spectral Methods for Data Science: A Statistical Perspective
- Title（参考訳）: データサイエンスのための分光法:統計的展望
- Authors: Yuxin Chen, Yuejie Chi, Jianqing Fan, Cong Ma
- Abstract要約: スペクトル法は、巨大でノイズの多い不完全なデータから情報を抽出するための単純で驚くほど効果的な手法として登場した。
この本は、現代の統計学的観点から、体系的で包括的でアクセスしやすいスペクトル法の導入を意図している。
- 参考スコア（独自算出の注目度）: 37.2486912080998
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spectral methods have emerged as a simple yet surprisingly effective approach
for extracting information from massive, noisy and incomplete data. In a
nutshell, spectral methods refer to a collection of algorithms built upon the
eigenvalues (resp. singular values) and eigenvectors (resp. singular vectors)
of some properly designed matrices constructed from data. A diverse array of
applications have been found in machine learning, data science, and signal
processing. Due to their simplicity and effectiveness, spectral methods are not
only used as a stand-alone estimator, but also frequently employed to
initialize other more sophisticated algorithms to improve performance.
While the studies of spectral methods can be traced back to classical matrix
perturbation theory and methods of moments, the past decade has witnessed
tremendous theoretical advances in demystifying their efficacy through the lens
of statistical modeling, with the aid of non-asymptotic random matrix theory.
This monograph aims to present a systematic, comprehensive, yet accessible
introduction to spectral methods from a modern statistical perspective,
highlighting their algorithmic implications in diverse large-scale
applications. In particular, our exposition gravitates around several central
questions that span various applications: how to characterize the sample
efficiency of spectral methods in reaching a target level of statistical
accuracy, and how to assess their stability in the face of random noise,
missing data, and adversarial corruptions? In addition to conventional $\ell_2$
perturbation analysis, we present a systematic $\ell_{\infty}$ and
$\ell_{2,\infty}$ perturbation theory for eigenspace and singular subspaces,
which has only recently become available owing to a powerful "leave-one-out"
analysis framework.
- Abstract（参考訳）: スペクトル法は、巨大でノイズの多い不完全なデータから情報を抽出するための単純で驚くほど効果的な手法として登場した。
簡単に言えば、スペクトル法は固有値(resp)に基づいて構築されたアルゴリズムの集合を指す。
特異値)と固有ベクトル(resp。
データから構築されたいくつかの適切に設計された行列の特異ベクトル)。
様々な応用が機械学習、データサイエンス、信号処理で発見されている。
その単純さと有効性のため、スペクトル法は単独の推定器としてだけでなく、他の洗練されたアルゴリズムを初期化して性能を向上させるために頻繁に用いられる。
スペクトル法の研究は古典的行列摂動理論やモーメントの方法に遡ることができるが、過去10年間、非漸近的ランダム行列理論(英語版)の助けを借りて、統計モデリングのレンズを通してその効力を減弱する理論的な進歩を目撃してきた。
このモノグラフは、現代の統計的観点から、体系的で包括的でアクセスしやすいスペクトル法の導入を示し、様々な大規模アプリケーションにおけるアルゴリズムの影響を強調することを目的としている。
特に,統計的精度の目標レベルに達する際のスペクトル法のサンプル効率を特徴付ける方法や,無作為なノイズやデータ不足,反面的な汚職に対して,その安定性を評価する方法など,さまざまな応用分野にまたがるいくつかの中心的疑問を浮き彫りにした。
従来の $\ell_2$ 摂動解析に加えて、固有空間と特異部分空間に対する体系的な $\ell_{\infty}$ と $\ell_{2,\infty}$ 摂動理論を提示する。
関連論文リスト
- Matrix Denoising with Doubly Heteroscedastic Noise: Fundamental Limits and Optimal Spectral Methods [24.06775799553418]
本研究では,列相関と列相関の両方でノイズによって劣化したランク1$の信号の特異ベクトルを推定する行列記述問題について検討する。
本研究は,2つのヘテロセダスティックノイズを重畳した行列の,情報理論的およびアルゴリズム的限界を確立する。
論文 参考訳（メタデータ） (2024-05-22T18:38:10Z) - Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement
Learning [53.445068584013896]
低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。
低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。
簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
論文 参考訳（メタデータ） (2023-10-10T17:06:41Z) - Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing [28.91482208876914]
本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。
広く使われているにもかかわらず、厳密なパフォーマンス特性とデータ前処理の原則が、構造化されていない設計でのみ利用可能である。
論文 参考訳（メタデータ） (2023-08-28T11:49:23Z) - Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。
我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
論文 参考訳（メタデータ） (2022-11-21T11:35:25Z) - Geometry of EM and related iterative algorithms [8.228889210180268]
期待-最大化(EM)アルゴリズムは、統計的推論の方法論として長年使われてきた単純なメタアルゴリズムである。
本稿では,EMアルゴリズムの情報幾何学的定式化である$em$アルゴリズムとその拡張と様々な問題への応用について紹介する。
論文 参考訳（メタデータ） (2022-09-03T00:23:23Z) - Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。
理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。
実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-08-19T19:01:30Z) - Probabilistic Simplex Component Analysis [66.30587591100566]
PRISMは、データ循環記述のシンプルさの頂点をデータから識別する確率論的シンプルコンポーネント分析手法である。
この問題には多様な応用があり、最も注目すべきはリモートセンシングにおけるハイパースペクトルアンミックスと機械学習における非負行列分解である。
論文 参考訳（メタデータ） (2021-03-18T05:39:00Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Scalable Spectral Clustering with Nystrom Approximation: Practical and
Theoretical Aspects [1.6752182911522515]
本研究は、サンプリングされた点に関連付けられた類似度行列のスペクトル特性を利用して、精度と効率のトレードオフを制御したスペクトルクラスタリングアルゴリズムを提案する。
この研究の包括的な目標は、スペクトルクラスタリングを加速する将来の研究方向のための改善されたベースラインを提供することである。
論文 参考訳（メタデータ） (2020-06-25T15:10:56Z) - Spectral Learning on Matrices and Tensors [74.88243719463053]
テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。
また,効率的なテンソル分解法を設計するための計算手法についても概説する。
論文 参考訳（メタデータ） (2020-04-16T22:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。