論文の概要: Conditional Matrix Flows for Gaussian Graphical Models
- arxiv url: http://arxiv.org/abs/2306.07255v2
- Date: Thu, 16 Nov 2023 13:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 20:33:36.089375
- Title: Conditional Matrix Flows for Gaussian Graphical Models
- Title（参考訳）: ガウス図形モデルに対する条件行列フロー
- Authors: Marcello Massimo Negri, F. Arend Torres and Volker Roth
- Abstract要約: 本稿では,頻繁な鍵化とベイズ推論の利点を考察した変分推論行列GG-Flowの一般フレームワークを提案する。
a train of the sparse for any $lambda$ and any $l_q$ (pse-) and for any $l_q$ (pse-) we have train the limit for any $lambda$ and any $l_q$ (pse-) and (like for the selection) the often solution。
- 参考スコア（独自算出の注目度）: 1.6435014180036467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Studying conditional independence among many variables with few observations
is a challenging task. Gaussian Graphical Models (GGMs) tackle this problem by
encouraging sparsity in the precision matrix through $l_q$ regularization with
$q\leq1$. However, most GMMs rely on the $l_1$ norm because the objective is
highly non-convex for sub-$l_1$ pseudo-norms. In the frequentist formulation,
the $l_1$ norm relaxation provides the solution path as a function of the
shrinkage parameter $\lambda$. In the Bayesian formulation, sparsity is instead
encouraged through a Laplace prior, but posterior inference for different
$\lambda$ requires repeated runs of expensive Gibbs samplers. Here we propose a
general framework for variational inference with matrix-variate Normalizing
Flow in GGMs, which unifies the benefits of frequentist and Bayesian
frameworks. As a key improvement on previous work, we train with one flow a
continuum of sparse regression models jointly for all regularization parameters
$\lambda$ and all $l_q$ norms, including non-convex sub-$l_1$ pseudo-norms.
Within one model we thus have access to (i) the evolution of the posterior for
any $\lambda$ and any $l_q$ (pseudo-) norm, (ii) the marginal log-likelihood
for model selection, and (iii) the frequentist solution paths through simulated
annealing in the MAP limit.
- Abstract（参考訳）: 少ない観察で多くの変数の条件付き独立性を研究することは難しい課題である。
Gaussian Graphical Models (GGM) は、$q\leq1$ の正規化を通じて精度行列のスパーシリティを促進することでこの問題に対処する。
しかし、ほとんどのgmmは$l_1$ノルムに対して非常に非凸であるため、$l_1$ノルムに依存する。
頻繁な定式化では、$l_1$ ノルム緩和は、縮小パラメータ $\lambda$ の関数としてソリューションパスを提供する。
Bayesianの定式化では、スペーサはLaplaceを前もって推奨されるが、$\lambda$の異なる後続推論では、高価なGibbsサンプルを繰り返す必要がある。
本稿では,GGMにおける行列変量正規化フローを用いた変分推論のための一般的なフレームワークを提案する。
従来の作業における重要な改善として、非凸部分-$l_1$擬ノルムを含むすべての正規化パラメータとすべての$l_q$ノルムに対して、スパース回帰モデルの連続体を1フローでトレーニングする。
1つのモデル内で、私たちはアクセスできます。
(i)任意の$\lambda$と任意の$l_q$(pseudo-)ノルムに対する後方の進化。
(ii)モデル選択のための辺りの丸太類似性、及び
(3)MAP限界における模擬アニーリングを通した頻繁な解経路。
関連論文リスト
- Iterative Reweighted Framework Based Algorithms for Sparse Linear Regression with Generalized Elastic Net Penalty [0.3124884279860061]
弾性ネットペナルティはパラメータ回帰と変数選択のための高次元統計学においてしばしば用いられる。
経験的証拠は、$ell_q$-norm のペナルティが $ell_r$-norm のペナルティよりもよく退行することを示している。
局所的なLipschitz連続$epsilon$-approximation to $ell_q$-norm に基づく2つの効率的なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-22T11:55:37Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Dynamical System Identification, Model Selection and Model Uncertainty Quantification by Bayesian Inference [0.8388591755871735]
本研究では,時系列データから動的システム同定を行うためのMAPフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-30T12:16:52Z) - Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature
and Bayesian Optimization [51.533164528799084]
小さい相対誤差内で正規化定数を推定するために、難易度は$lambda$の値に依存する。
関数評価がノイズである場合でも,このパターンは真であることがわかった。
論文 参考訳（メタデータ） (2024-01-11T07:45:09Z) - Optimal Query Complexities for Dynamic Trace Estimation [59.032228008383484]
我々は,行列がゆっくりと変化している動的環境において,正確なトレース推定に必要な行列ベクトルクエリ数を最小化する問題を考える。
我々は、$delta$失敗確率で$epsilon$エラーまで、すべての$m$トレースを同時に推定する新しいバイナリツリー要約手順を提供する。
我々の下界(1)は、静的な設定においてもフロベニウスノルム誤差を持つ行列ベクトル積モデルにおけるハッチンソン推定子の第一の厳密な境界を与え、(2)動的トレース推定のための最初の無条件下界を与える。
論文 参考訳（メタデータ） (2022-09-30T04:15:44Z) - Variational Inference for Bayesian Bridge Regression [0.0]
橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。
ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。
B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
論文 参考訳（メタデータ） (2022-05-19T12:29:09Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Optimal Online Generalized Linear Regression with Stochastic Noise and
Its Application to Heteroscedastic Bandits [88.6139446295537]
一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。
ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。
本稿では,FTRLに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-28T08:25:26Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳（メタデータ） (2021-02-05T14:02:20Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。