論文の概要: One-shot Distributed Algorithm for Generalized Eigenvalue Problem
- arxiv url: http://arxiv.org/abs/2010.11625v2
- Date: Wed, 24 Nov 2021 08:31:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 07:15:41.311334
- Title: One-shot Distributed Algorithm for Generalized Eigenvalue Problem
- Title(参考訳): 一般化固有値問題のワンショット分散アルゴリズム
- Authors: Kexin Lv, Fan He, Xiaolin Huang, Jie Yang and Liming Chen
- Abstract要約: 一般化固有値問題(GEP)は、高次元統計モデルの大ファミリーにおいて重要な役割を果たす。
本稿では,GEPのためのワンショット通信を備えた汎用分散GEPフレームワークを提案する。
- 参考スコア(独自算出の注目度): 23.9525986377055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, more and more datasets are stored in a distributed way for the sake
of memory storage or data privacy. The generalized eigenvalue problem (GEP)
plays a vital role in a large family of high-dimensional statistical models.
However, the existing distributed method for eigenvalue decomposition cannot be
applied in GEP for the divergence of the empirical covariance matrix. Here we
propose a general distributed GEP framework with one-shot communication for
GEP. If the symmetric data covariance has repeated eigenvalues, e.g., in
canonical component analysis, we further modify the method for better
convergence. The theoretical analysis on approximation error is conducted and
the relation to the divergence of the data covariance, the eigenvalues of the
empirical data covariance, and the number of local servers is analyzed.
Numerical experiments also show the effectiveness of the proposed algorithms.
- Abstract(参考訳): 今日では、メモリストレージやデータのプライバシーのために、より多くのデータセットが分散形式で保存されている。
一般化固有値問題(GEP)は、高次元統計モデルの大ファミリーにおいて重要な役割を果たす。
しかし、既存の固有値分解法は、経験的共分散行列のばらつきに対して GEP には適用できない。
本稿では,GEPのためのワンショット通信を備えた汎用分散GEPフレームワークを提案する。
対称データの共分散が、例えば正準成分分析において繰り返し固有値を持つ場合、よりよく収束するためにさらに修正する。
近似誤差に関する理論的解析を行い、データ共分散の発散、経験データ共分散の固有値、ローカルサーバ数との関係を解析する。
また,提案手法の有効性を示す数値実験を行った。
関連論文リスト
- Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。
我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文 参考訳(メタデータ) (2023-10-12T10:56:25Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳(メタデータ) (2022-07-14T17:08:25Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian
Processes [8.4159776055506]
我々はガウスの専門家の予測をガウス図形モデル(GGM)により集約する新しいアプローチを提案する。
まず、予測最大化(EM)アルゴリズムを用いて、潜伏変数と観測変数の合同分布を推定する。
我々の新しい手法は他の最先端のDGP手法よりも優れている。
論文 参考訳(メタデータ) (2022-02-07T15:22:56Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - Interaction Models and Generalized Score Matching for Compositional Data [9.797319790710713]
本稿では, 確率単純度をベースとして, 対の相互作用の一般的なパターンに対応する指数関数型モデルを提案する。
特別の場合として、ディリクレ分布の族や、アッチソンの加法的ロジスティック正規分布がある。
提案手法の高次元解析により, 従来研究されていた全次元領域と同様に, シンプル領域を効率的に処理できることが示唆された。
論文 参考訳(メタデータ) (2021-09-10T05:29:41Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。