論文の概要: Exponential Convergence of CAVI for Bayesian PCA

• arxiv url: http://arxiv.org/abs/2505.16145v1
• Date: Thu, 22 May 2025 02:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.98769
• Title: Exponential Convergence of CAVI for Bayesian PCA
• Title（参考訳）: ベイジアンPCAにおけるCAVIの指数収束
• Authors: Arghya Datta, Philippe Gagnon, Florian Maire,
• Abstract要約: 確率的主成分分析(PCA)とそのベイズ変種(BPCA)は、機械学習と統計の次元削減に広く用いられている。 本稿では,モデルが1つの主成分(PC)を使用する場合において,精度の高い指数収束結果を示す。 また,PCを数えるモデルに対してCAVIの指数収束性を証明するために,最近のツールを活用している。
• 参考スコア（独自算出の注目度）: 0.7929564340244416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probabilistic principal component analysis (PCA) and its Bayesian variant (BPCA) are widely used for dimension reduction in machine learning and statistics. The main advantage of probabilistic PCA over the traditional formulation is allowing uncertainty quantification. The parameters of BPCA are typically learned using mean-field variational inference, and in particular, the coordinate ascent variational inference (CAVI) algorithm. So far, the convergence speed of CAVI for BPCA has not been characterized. In our paper, we fill this gap in the literature. Firstly, we prove a precise exponential convergence result in the case where the model uses a single principal component (PC). Interestingly, this result is established through a connection with the classical $\textit{power iteration algorithm}$ and it indicates that traditional PCA is retrieved as points estimates of the BPCA parameters. Secondly, we leverage recent tools to prove exponential convergence of CAVI for the model with any number of PCs, thus leading to a more general result, but one that is of a slightly different flavor. To prove the latter result, we additionally needed to introduce a novel lower bound for the symmetric Kullback--Leibler divergence between two multivariate normal distributions, which, we believe, is of independent interest in information theory.
• Abstract（参考訳）: 確率的主成分分析(PCA)とそのベイズ変種(BPCA)は、機械学習と統計の次元削減に広く用いられている。 従来の定式化よりも確率的PCAの主な利点は、不確実な定量化を可能にすることである。 BPCAのパラメータは平均場変分推論(英語版)(平均場変分推論(英語版)(CAVI)アルゴリズムを用いて学習されるのが一般的である。 BPCAにおけるCAVIの収束速度は明らかになっていない。 本稿では、文献のこのギャップを埋める。 まず、モデルが1つの主成分(PC)を使用する場合の正確な指数収束結果を示す。 興味深いことに、この結果は古典的な$\textit{power iteration algorithm}$との接続によって確立され、従来のPCAがBPCAパラメータの点推定として検索されることを示す。 第二に、最近のツールを活用して、任意の数のPCを持つモデルに対するCAVIの指数収束を証明し、より一般的な結果をもたらすが、わずかに異なるフレーバーである。 後者の結果を証明するためには,2つの多変量正規分布間の対称Kulback-Leibler分散に対する新しい下界の導入も必要である。

関連論文リスト

• Bayesian Hierarchical Invariant Prediction [4.182645056052712]
  我々は,階層型ベイズのレンズを通して,不変因果予測(ICP)をリフレーミングするベイズ的階層型不変予測(BHIP)を提案する。 階層構造を利用して、不均一なデータの下で因果機構の不変性を明示的に検証し、その結果、ICPに比べて多くの予測器に対する計算スケーラビリティが向上した。 本稿では,馬靴とスパイク・アンド・スラブの2つの先駆性を検証し,因果的特徴のより信頼性の高い同定を可能にした。
  論文  参考訳（メタデータ） (2025-05-16T13:06:25Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond [0.9172870611255595]
  クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。 本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。 本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
  論文  参考訳（メタデータ） (2022-05-20T14:17:53Z)
• Capturing the Denoising Effect of PCA via Compression Ratio [3.967854215226183]
  主成分分析(PCA)は機械学習における最も基本的なツールの1つである。 本稿では,PCAが高次元雑音データに与える影響を捉えるために,Emphcompression ratioと呼ばれる新しい指標を提案する。 この新しい指標に基づいて、我々は、外れ値を検出するのに使える簡単なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-04-22T18:43:47Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Improved Dimensionality Reduction of various Datasets using Novel Multiplicative Factoring Principal Component Analysis (MPCA) [0.0]
  本稿では,従来のPCA手法である乗算因子分解主成分分析の改良について述べる。 従来のPCAに対するMPCAの利点は、乗算器を通して発生空間にペナルティを課すことで、射影の探索において、アウトレーヤの効果を無視できることである。
  論文  参考訳（メタデータ） (2020-09-25T12:30:15Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Repulsive Mixture Models of Exponential Family PCA for Clustering [127.90219303669006]
  指数関数型家族主成分分析(EPCA)の混合拡張は、従来のEPCAよりもデータ分布に関する構造情報を符号化するように設計された。 従来のEPCAの混合は、モデルの冗長性、すなわち混合成分間の重なりが問題であり、データクラスタリングの曖昧さを引き起こす可能性がある。 本稿では, 混合成分間での反発性増感前処理を導入し, ベイズ式に分散EPCA混合(DEPCAM)モデルを開発した。
  論文  参考訳（メタデータ） (2020-04-07T04:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。