論文の概要: Conditional Matrix Flows for Gaussian Graphical Models
- arxiv url: http://arxiv.org/abs/2306.07255v1
- Date: Mon, 12 Jun 2023 17:25:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 13:31:05.521063
- Title: Conditional Matrix Flows for Gaussian Graphical Models
- Title（参考訳）: ガウス図形モデルに対する条件行列フロー
- Authors: Marcello Massimo Negri, F. Arend Torres and Volker Roth
- Abstract要約: 本研究は,多くの変数の条件独立構造について考察する。
本稿では、頻繁な回帰の利点を統一する変分モデルのための非常に一般的なフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 2.567499374977917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Studying conditional independence structure among many variables with few
observations is a challenging task. Gaussian Graphical Models (GGMs) tackle
this problem by encouraging sparsity in the precision matrix through an $l_p$
regularization with $p\leq1$. However, since the objective is highly non-convex
for sub-$l_1$ pseudo-norms, most approaches rely on the $l_1$ norm. In this
case frequentist approaches allow to elegantly compute the solution path as a
function of the shrinkage parameter $\lambda$. Instead of optimizing the
penalized likelihood, the Bayesian formulation introduces a Laplace prior on
the precision matrix. However, posterior inference for different $\lambda$
values requires repeated runs of expensive Gibbs samplers. We propose a very
general framework for variational inference in GGMs that unifies the benefits
of frequentist and Bayesian frameworks. Specifically, we propose to approximate
the posterior with a matrix-variate Normalizing Flow defined on the space of
symmetric positive definite matrices. As a key improvement on previous work, we
train a continuum of sparse regression models jointly for all regularization
parameters $\lambda$ and all $l_p$ norms, including non-convex sub-$l_1$
pseudo-norms. This is achieved by conditioning the flow on $p>0$ and on the
shrinkage parameter $\lambda$. We have then access with one model to (i) the
evolution of the posterior for any $\lambda$ and for any $l_p$ (pseudo-) norms,
(ii) the marginal log-likelihood for model selection, and (iii) we can recover
the frequentist solution paths as the MAP, which is obtained through simulated
annealing.
- Abstract（参考訳）: 観測の少ない多くの変数間の条件付き独立構造の研究は難しい課題である。
ガウス図形モデル(GGM)は、$l_p$正規化を$p\leq1$とすることで精度行列のスパーシティを奨励することでこの問題に対処する。
しかし、目的が準l_1$擬似ノルムに対して非常に非凸であるため、ほとんどのアプローチは$l_1$ノルムに依存する。
この場合、頻繁なアプローチは、縮小パラメータ $\lambda$ の関数としてソリューションパスをエレガントに計算することができる。
ペナル化確率を最適化する代わりに、ベイズ式は精度行列に先立ってラプラスを導入する。
しかし、$\lambda$の異なる値に対する後続の推論には、高価なGibbsサンプルの繰り返し実行が必要である。
GGMにおける変分推論のための非常に一般的なフレームワークを提案し、頻繁なフレームワークとベイズ的フレームワークの利点を統一する。
具体的には、対称正定値行列の空間上で定義される行列-変量正規化流れにより後流を近似する。
従来の作業における重要な改善として、非凸部分-$l_1$擬ノルムを含むすべての正規化パラメータ$\lambda$とすべての$l_p$ノルムに対して、スパース回帰モデルの連続性をトレーニングする。
これは、$p>0$と縮小パラメータ$\lambda$でフローを条件付けすることで達成される。
すると1つのモデルにアクセスできます。
(i)任意の$\lambda$と任意の$l_p$ (pseudo-)ノルムに対する後方の進化。
(ii)モデル選択のための辺りの丸太類似性、及び
3) 模擬アニーリングにより得られたMAPとして, 頻繁な解経路を復元することができる。
関連論文リスト
- Iterative Reweighted Framework Based Algorithms for Sparse Linear Regression with Generalized Elastic Net Penalty [0.3124884279860061]
弾性ネットペナルティはパラメータ回帰と変数選択のための高次元統計学においてしばしば用いられる。
経験的証拠は、$ell_q$-norm のペナルティが $ell_r$-norm のペナルティよりもよく退行することを示している。
局所的なLipschitz連続$epsilon$-approximation to $ell_q$-norm に基づく2つの効率的なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-22T11:55:37Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Dynamical System Identification, Model Selection and Model Uncertainty Quantification by Bayesian Inference [0.8388591755871735]
本研究では,時系列データから動的システム同定を行うためのMAPフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-30T12:16:52Z) - Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature
and Bayesian Optimization [51.533164528799084]
小さい相対誤差内で正規化定数を推定するために、難易度は$lambda$の値に依存する。
関数評価がノイズである場合でも,このパターンは真であることがわかった。
論文 参考訳（メタデータ） (2024-01-11T07:45:09Z) - Optimal Query Complexities for Dynamic Trace Estimation [59.032228008383484]
我々は,行列がゆっくりと変化している動的環境において,正確なトレース推定に必要な行列ベクトルクエリ数を最小化する問題を考える。
我々は、$delta$失敗確率で$epsilon$エラーまで、すべての$m$トレースを同時に推定する新しいバイナリツリー要約手順を提供する。
我々の下界(1)は、静的な設定においてもフロベニウスノルム誤差を持つ行列ベクトル積モデルにおけるハッチンソン推定子の第一の厳密な境界を与え、(2)動的トレース推定のための最初の無条件下界を与える。
論文 参考訳（メタデータ） (2022-09-30T04:15:44Z) - Variational Inference for Bayesian Bridge Regression [0.0]
橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。
ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。
B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
論文 参考訳（メタデータ） (2022-05-19T12:29:09Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Optimal Online Generalized Linear Regression with Stochastic Noise and
Its Application to Heteroscedastic Bandits [88.6139446295537]
一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。
ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。
本稿では,FTRLに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-28T08:25:26Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳（メタデータ） (2021-02-05T14:02:20Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。