論文の概要: Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices

• arxiv url: http://arxiv.org/abs/2401.03820v2
• Date: Fri, 27 Sep 2024 14:15:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 05:28:28.162932
• Title: Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices
• Title（参考訳）: 最適差分PCAとスパイク共分散行列の推定
• Authors: T. Tony Cai, Dong Xia, Mengyue Zha,
• Abstract要約: 共分散行列とその関連する主成分を推定することは、現代統計学における根本的な問題である。 スパイク共分散モデルにおける最適偏微分的主成分分析(PCA)と共分散推定について検討した。 計算効率のよい微分プライベート推定器を提案し、その極小極小性をガウス分布に対して証明する。
• 参考スコア（独自算出の注目度）: 10.377683220196873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating a covariance matrix and its associated principal components is a fundamental problem in contemporary statistics. While optimal estimation procedures have been developed with well-understood properties, the increasing demand for privacy preservation introduces new complexities to this classical problem. In this paper, we study optimal differentially private Principal Component Analysis (PCA) and covariance estimation within the spiked covariance model. We precisely characterize the sensitivity of eigenvalues and eigenvectors under this model and establish the minimax rates of convergence for estimating both the principal components and covariance matrix. These rates hold up to logarithmic factors and encompass general Schatten norms, including spectral norm, Frobenius norm, and nuclear norm as special cases. We propose computationally efficient differentially private estimators and prove their minimax optimality for sub-Gaussian distributions, up to logarithmic factors. Additionally, matching minimax lower bounds are established. Notably, compared to the existing literature, our results accommodate a diverging rank, a broader range of signal strengths, and remain valid even when the sample size is much smaller than the dimension, provided the signal strength is sufficiently strong. Both simulation studies and real data experiments demonstrate the merits of our method.
• Abstract（参考訳）: 共分散行列とその関連する主成分を推定することは、現代統計学における根本的な問題である。 最適推定手順は、よく理解された特性で開発されているが、プライバシー保護の需要が高まると、この古典的な問題に新たな複雑さがもたらされる。 本稿では,スパイク共分散モデルにおける最適偏差分極成分分析(PCA)と共分散推定について検討する。 このモデルの下で固有値と固有ベクトルの感度を正確に評価し、主成分と共分散行列の両方を推定するための収束の最小値を確立する。 これらの速度は対数的因子に比例し、スペクトルノルム、フロベニウスノルム、核ノルムなどの一般的なシャッテンノルムを特別な場合として含む。 計算効率のよい微分プライベート推定器を提案し、ガウス分布の最小値最適性を対数係数まで証明する。 さらに、ミニマックス下限のマッチングが確立される。 特に,従来の文献と比較すると,信号強度が十分に強い場合,サンプルサイズが寸法よりもはるかに小さい場合でも,信号強度のばらつき,信号強度の幅の幅の広さ,有効性が保たれている。 シミュレーション研究と実データ実験の両方が,本手法の利点を実証している。

関連論文リスト

• A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
  制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。 頑健な推定器は効率的に計算可能で一貫したものであることを示す。 合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:01:18Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Robustness Implies Privacy in Statistical Estimation [16.061651295129302]
  本研究では,高次元統計学における敵のプライバシーと差分プライバシーの関係について検討する。 プライバシーから堅牢性への最初のブラックボックスの削減は、最適なトレードオフを伴うプライベートな推定器を生み出すことができる。 また, アルゴリズムは, ほぼ最適に崩壊したサンプルに対して頑健である。
  論文  参考訳（メタデータ） (2022-12-09T18:07:30Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• CoinPress: Practical Private Mean and Covariance Estimation [18.6419638570742]
  多変量準ガウスデータの平均と共分散に対する単純な微分プライベート推定器を提案する。 これらの誤差率は最先端の理論的境界値と一致し, 従来手法よりも顕著に優れていたことを示す。
  論文  参考訳（メタデータ） (2020-06-11T17:17:28Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。