論文の概要: EiGLasso for Scalable Sparse Kronecker-Sum Inverse Covariance Estimation
- arxiv url: http://arxiv.org/abs/2105.09872v1
- Date: Thu, 20 May 2021 16:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-21 13:44:46.879185
- Title: EiGLasso for Scalable Sparse Kronecker-Sum Inverse Covariance Estimation
- Title（参考訳）: EiGLasso for Scalable Sparse Kronecker-Sum Inverse Covariance Estimation
- Authors: Jun Ho Yoon and Seyoung Kim
- Abstract要約: 我々はKronecker-sum逆共分散推定のための高度にスケーラブルなKronecker-sum逆共分散推定法であるEeiGLassoを紹介する。
EiGLassoは既存の手法に比べて2～3桁の速度アップを実現していることを示す。
- 参考スコア（独自算出の注目度）: 1.370633147306388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many real-world problems, complex dependencies are present both among
samples and among features. The Kronecker sum or the Cartesian product of two
graphs, each modeling dependencies across features and across samples, has been
used as an inverse covariance matrix for a matrix-variate Gaussian
distribution, as an alternative to a Kronecker-product inverse covariance
matrix, due to its more intuitive sparse structure. However, the existing
methods for sparse Kronecker-sum inverse covariance estimation are limited in
that they do not scale to more than a few hundred features and samples and that
the unidentifiable parameters pose challenges in estimation. In this paper, we
introduce EiGLasso, a highly scalable method for sparse Kronecker-sum inverse
covariance estimation, based on Newton's method combined with
eigendecomposition of the two graphs for exploiting the structure of Kronecker
sum. EiGLasso further reduces computation time by approximating the Hessian
based on the eigendecomposition of the sample and feature graphs. EiGLasso
achieves quadratic convergence with the exact Hessian and linear convergence
with the approximate Hessian. We describe a simple new approach to estimating
the unidentifiable parameters that generalizes the existing methods. On
simulated and real-world data, we demonstrate that EiGLasso achieves two to
three orders-of-magnitude speed-up compared to the existing methods.
- Abstract（参考訳）: 現実世界の多くの問題では、サンプルと機能の両方に複雑な依存関係が存在する。
クロネッカー和 (Kronecker sum) あるいは2つのグラフのカルテシアン積 (Cartesian product) は、それぞれ特徴とサンプルの間のモデリング依存であり、行列-変数ガウス分布の逆共分散行列として使われ、より直感的なスパース構造のためにクロネッカー積の逆共分散行列の代替として用いられる。
しかし, sparse kronecker-sum逆共分散推定法は, 数百以上の特徴とサンプルにスケールしないため, 同定不能なパラメータが推定に困難をもたらすため, 制限されている。
本稿では,Kronecker sumの構造を利用するために,ニュートン法と2つのグラフの固有分解を併用した,Kronecker-sum逆共分散推定の高度にスケーラブルな手法であるEiGLassoを紹介する。
EiGLassoはサンプルと特徴グラフの固有分解に基づいてヘッセンを近似することで計算時間を短縮する。
EiGLasso は、正確な Hessian と近似 Hessian との線型収束で二次収束を達成する。
既存の手法を一般化する未同定パラメータを推定するシンプルな新しい手法について述べる。
シミュレーションおよび実世界のデータを用いて,既存の手法と比較して,EiGLassoが2～3桁の速度アップを達成することを示す。
関連論文リスト
- Samplet basis pursuit: Multiresolution scattered data approximation with sparsity constraints [0.0]
我々は,$ell_1$-regularization を用いたサンプルト座標における分散データ近似について検討する。
Riesz isometry を用いて、標本を再現されたカーネルヒルベルト空間に埋め込む。
組込みサンプルベースに対してスパースな信号のクラスは、カーネル翻訳の基盤に関してスパースな信号のクラスよりもかなり大きいと論じる。
論文 参考訳（メタデータ） (2023-06-16T21:20:49Z) - Recovering Simultaneously Structured Data via Non-Convex Iteratively
Reweighted Least Squares [0.8702432681310401]
線形観測から多種多様低次元構造に固執するデータを復元する新しいアルゴリズムを提案する。
IRLS法は,低/複合状態の計測に好適であることを示す。
論文 参考訳（メタデータ） (2023-06-08T06:35:47Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。
6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-21T01:47:17Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - Learning Bayesian Networks through Birkhoff Polytope: A Relaxation
Method [0.0]
我々は、ガウス線形構造方程式モデルからデータを生成する際に、有向非巡回グラフ(DAG)を学習するための新しい枠組みを確立する。
置換行列推定では,順序推定のNPハード問題を回避する緩和手法を提案する。
本フレームワークは,非循環性制約の高価な検証や,可能な親集合の列挙を必要とせずにDAGを復元する。
論文 参考訳（メタデータ） (2021-07-04T15:04:02Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - Fused-Lasso Regularized Cholesky Factors of Large Nonstationary
Covariance Matrices of Longitudinal Data [0.0]
大きな共分散行列のコレスキー因子のサブ対角線の滑らかさは、時系列および長手データに対する自己回帰モデルの非定常度の度合いと密接に関連している。
行ごとに分離するColesky因子のスパース推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-22T02:38:16Z) - Sparse Cholesky covariance parametrization for recovering latent
structure in ordered data [1.5349431582672617]
共分散行列のコレスキー因子における任意の零パターンに着目する。
そこで本研究では,行列損失のペナル化に基づく新しい推定手法を提案する。
実験結果に基づいて、各設定にどの方法がより適切か分析する。
論文 参考訳（メタデータ） (2020-06-02T08:35:00Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。