論文の概要: Scalable Spike-and-Slab

• arxiv url: http://arxiv.org/abs/2204.01668v1
• Date: Mon, 4 Apr 2022 17:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 15:21:51.022861
• Title: Scalable Spike-and-Slab
• Title（参考訳）: スケーラブルスパイク&スラブ
• Authors: Niloy Biswas, Lester Mackey, Xiao-Li Meng
• Abstract要約: スパイク・アンド・スラブ前駆体は、ベイズ変数の選択に一般的に使用される。 既存のスパイク・アンド・スラブ後部サンプルは、変数の数が大きければ計算コストが不当になる。
• 参考スコア（独自算出の注目度）: 19.548599544810937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spike-and-slab priors are commonly used for Bayesian variable selection, due to their interpretability and favorable statistical properties. However, existing samplers for spike-and-slab posteriors incur prohibitive computational costs when the number of variables is large. In this article, we propose Scalable Spike-and-Slab ($S^3$), a scalable Gibbs sampling implementation for high-dimensional Bayesian regression with the continuous spike-and-slab prior of George and McCulloch (1993). For a dataset with $n$ observations and $p$ covariates, $S^3$ has order $\max\{ n^2 p_t, np \}$ computational cost at iteration $t$ where $p_t$ never exceeds the number of covariates switching spike-and-slab states between iterations $t$ and $t-1$ of the Markov chain. This improves upon the order $n^2 p$ per-iteration cost of state-of-the-art implementations as, typically, $p_t$ is substantially smaller than $p$. We apply $S^3$ on synthetic and real-world datasets, demonstrating orders of magnitude speed-ups over existing exact samplers and significant gains in inferential quality over approximate samplers with comparable cost.
• Abstract（参考訳）: スパイク・アンド・スラブ前駆体は、解釈可能性と好ましい統計的性質のため、ベイズ変数の選択に一般的に使用される。 しかし、既存のスパイク・アンド・スラブ後部サンプルは、変数の数が大きい場合には計算コストが不当である。 本稿では,George and McCulloch (1993) 以前の連続スパイク・アンド・スラブによる高次元ベイズ回帰のためのスケーラブルギブスサンプリング実装である Scalable Spike-and-Slab (S^3$) を提案する。 n$観測値と$p$共変量を持つデータセットの場合、$S^3$は、反復$t$で$\max\{ n^2 p_t, np \}$計算コストを持ち、$p_t$は、反復$t$と$t-1$の間のスパイクとスラブ状態を切り替える共変量数を超えない。 これは、通常、$p_t$が$p$よりもかなり小さいため、最先端実装の注文当たり$n^2 p$によって改善される。 合成および実世界のデータセットに$S^3$を適用し、既存の正確なサンプリング器よりも桁違いのスピードアップを示し、同等のコストで近似サンプリング器よりも推論品質が大幅に向上した。

関連論文リスト

• Better Locally Private Sparse Estimation Given Multiple Samples Per User [2.9562742331218725]
  ユーザレベルの局所微分プライベートスパース線形回帰について検討する。 我々は、$n$のユーザがそれぞれ$m$のサンプルを提供していれば、$d$の線形依存を排除できることを示した。 本稿では,まず候補変数を選択し,次に狭義の低次元空間で推定を行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-08T08:47:20Z)
• Data Structures for Density Estimation [66.36971978162461]
  p$のサブリニア数($n$)が与えられた場合、主な結果は$k$のサブリニアで$v_i$を識別する最初のデータ構造になります。 また、Acharyaなどのアルゴリズムの改良版も提供します。
  論文  参考訳（メタデータ） (2023-06-20T06:13:56Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)
• More Optimal Simulation of Universal Quantum Computers [0.0]
  最悪のサンプリングコストは$le(2+sqrt2)xi_t delta-1$であり、$t rightarrow infty$である。 我々は、この68倍のプレファクタを、相関サンプリングにより$t$の先行値の低減により削減する。
  論文  参考訳（メタデータ） (2022-02-02T19:00:03Z)
• Differentiated uniformization: A new method for inferring Markov chains on combinatorial state spaces including stochastic epidemic models [0.0]
  我々は$partialexp!(tQ)theta$を計算するための類似アルゴリズムを提供する。 オーストリアでのCOVID-19パンデミックの第1波における毎月の感染と回復率を推定する。
  論文  参考訳（メタデータ） (2021-12-21T03:59:06Z)
• The Sample Complexity of Robust Covariance Testing [56.98280399449707]
  i. i. d. 形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。 汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。 サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
  論文  参考訳（メタデータ） (2020-12-31T18:24:41Z)
• Outlier-robust sparse/low-rank least-squares regression and robust matrix completion [1.0878040851637998]
  ヘテロジニアス雑音を伴う統計的学習フレームワークにおける高次元最小二乗回帰について検討する。 また, 製品プロセスの新たな応用に基づいて, 行列分解を伴う新しいトレーサリグレス理論を提案する。
  論文  参考訳（メタデータ） (2020-12-12T07:42:47Z)
• Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
  計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。 提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。 本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
  論文  参考訳（メタデータ） (2020-10-22T19:31:30Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。