論文の概要: A Generalized Mean Approach for Distributed-PCA

• arxiv url: http://arxiv.org/abs/2410.00397v1
• Date: Tue, 1 Oct 2024 04:39:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 05:56:31.247810
• Title: A Generalized Mean Approach for Distributed-PCA
• Title（参考訳）: 分散PCAにおける一般化平均アプローチ
• Authors: Zhi-Yu Jou, Su-Yun Huang, Hung Hung, Shinto Eguchi,
• Abstract要約: 本稿では,行列$beta$-meanを用いて固有値情報を用いて局所的な結果を集約するDPCA手法を提案する。 $beta$-DPCAは、$beta$値の調整可能な選択を通じて、柔軟で堅牢なアグリゲーションを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Principal component analysis (PCA) is a widely used technique for dimension reduction. As datasets continue to grow in size, distributed-PCA (DPCA) has become an active research area. A key challenge in DPCA lies in efficiently aggregating results across multiple machines or computing nodes due to computational overhead. Fan et al. (2019) introduced a pioneering DPCA method to estimate the leading rank-$r$ eigenspace, aggregating local rank-$r$ projection matrices by averaging. However, their method does not utilize eigenvalue information. In this article, we propose a novel DPCA method that incorporates eigenvalue information to aggregate local results via the matrix $\beta$-mean, which we call $\beta$-DPCA. The matrix $\beta$-mean offers a flexible and robust aggregation method through the adjustable choice of $\beta$ values. Notably, for $\beta=1$, it corresponds to the arithmetic mean; for $\beta=-1$, the harmonic mean; and as $\beta \to 0$, the geometric mean. Moreover, the matrix $\beta$-mean is shown to associate with the matrix $\beta$-divergence, a subclass of the Bregman matrix divergence, to support the robustness of $\beta$-DPCA. We also study the stability of eigenvector ordering under eigenvalue perturbation for $\beta$-DPCA. The performance of our proposal is evaluated through numerical studies.
• Abstract（参考訳）: 主成分分析(PCA)は次元減少のための広く用いられている手法である。 データセットのサイズが拡大するにつれて、分散PCA(DPCA)が活発な研究領域となっている。 DPCAの重要な課題は、計算オーバーヘッドのため、複数のマシンや計算ノード間で効率的に結果を集約することにある。 Fan et al (2019) は先駆的なDPCA法を導入し、平均化による局所ランク-$r$射影行列を集約する-$r$固有空間を推定した。 しかし、それらの手法は固有値情報を使用しない。 本稿では,固有値情報を組み込んだ新しいDPCA手法を提案し,行列$\beta$-meanを用いて局所的な結果を集約し,それを$\beta$-DPCAと呼ぶ。 行列 $\beta$-mean は、$\beta$-mean の値の調整可能な選択を通じて柔軟で堅牢な集約方法を提供する。 特に$\beta=1$の場合、算術平均、$\beta=-1$の場合、調和平均、$\beta \to 0$の場合、幾何学平均に相当する。 さらに、行列 $\beta$-mean は、行列 $\beta$-divergence のサブクラスである行列 $\beta$-DPCA と結びつき、$\beta$-DPCA のロバスト性をサポートする。 また,固有値摂動下での固有ベクトル秩序の安定性を$\beta$-DPCAに対して検討した。 提案手法の性能を数値解析により評価した。

関連論文リスト

• Model-free Low-Rank Reinforcement Learning via Leveraged Entry-wise Matrix Estimation [48.92318828548911]
  政策改善と政策評価の段階を交互に行うモデルフリー学習アルゴリズムであるLoRa-PI(Low-Rank Policy Iteration)を提案する。 LoRa-PIは$widetildeO(S+Aover mathrmpoly (1-gamma)varepsilon2)$サンプルを使用して$varepsilon$-optimal Policyを学習する。
  論文  参考訳（メタデータ） (2024-10-30T20:22:17Z)
• Sparse PCA with Oracle Property [115.72363972222622]
  新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。 我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
  論文  参考訳（メタデータ） (2023-12-28T02:52:54Z)
• Leverage Score Sampling for Tensor Product Matrices in Input Sparsity Time [54.65688986250061]
  我々は,$q$-foldカラムワイドテンソル積の$q$行列に対応するグラム行列を近似するための入力空間時間サンプリングアルゴリズムを提案する。 我々のサンプリング技術は、合計時間でデータセット$X$に同時に適用できる$q$部分相関ランダムプロジェクションのコレクションに依存している。
  論文  参考訳（メタデータ） (2022-02-09T15:26:03Z)
• Robust factored principal component analysis for matrix-valued outlier accommodation and detection [4.228971753938522]
  Factored PCA (FPCA) は行列データに対するPCAの確率的拡張である。 行列データに対するFPCA(RFPCA)の堅牢な拡張を提案する。 RFPCAは適応的に減量し、ロバストな推定値が得られる。
  論文  参考訳（メタデータ） (2021-12-13T16:12:22Z)
• Efficient Matrix-Free Approximations of Second-Order Information, with Applications to Pruning and Optimization [16.96639526117016]
  Inverse-Hessian Vector Products (IHVPs) の行列のない線形時間アプローチについて検討する。 これらのアルゴリズムは、既存の2階法と比較して計算オーバーヘッドが低いネットワークプルーニングと最適化の最先端結果をもたらす。
  論文  参考訳（メタデータ） (2021-07-07T17:01:34Z)
• Clustering Mixture Models in Almost-Linear Time via List-Decodable Mean Estimation [58.24280149662003]
  本稿では,データセットの大部分を敵が破壊できるリストデコタブル平均推定の問題について検討する。 我々は、ほぼ最適な統計的保証を達成するために、リストデコダブル平均推定のための新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-06-16T03:34:14Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)
• Hutch++: Optimal Stochastic Trace Estimation [75.45968495410048]
  我々は、任意の正半定値(PSD)$A$に対して、$(1 pm epsilon)$を$tr(A)$に近似する新しいランダム化アルゴリズムであるHutch++を導入する。 実験ではハッチンソン法を著しく上回る結果を得た。
  論文  参考訳（メタデータ） (2020-10-19T16:45:37Z)
• A New Basis for Sparse Principal Component Analysis [5.258928416164104]
  以前のスパース主成分分析では、固有基底 ($p 倍 k$ 行列) がほぼスパースであると仮定されていた。 我々は、$p × k$ 行列が、$k × k$ 回転の後にほぼスパースとなると仮定する手法を提案する。 同レベルの疎度では,提案したスパースPCA法の方が安定であり,代替手法よりも分散を説明できることを示す。
  論文  参考訳（メタデータ） (2020-07-01T16:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。