論文の概要: Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian
Variable Selection
- arxiv url: http://arxiv.org/abs/2304.02899v1
- Date: Thu, 6 Apr 2023 07:14:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 15:07:36.385158
- Title: Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian
Variable Selection
- Title(参考訳): ベイズ変数選択のための可変複素重み付きgibbsサンプラー
- Authors: Lan V. Truong
- Abstract要約: サブセット重み付きギブズサンプリング (wTGS) は、Jankowiakによって、高次元アプリケーションにおけるMCMCイテレーション当たりの計算複雑性を低減するために導入された。
本稿では,MCMCイテレーションあたりの条件付きPIPの計算量が信号次元よりもはるかに少ないような,新しいサブセットの重み付きギブズサンプリング(wTGS)を設計する。
- 参考スコア(独自算出の注目度): 16.3460693863947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Subset weighted-Tempered Gibbs Sampler (wTGS) has been recently introduced by
Jankowiak to reduce the computation complexity per MCMC iteration in
high-dimensional applications where the exact calculation of the posterior
inclusion probabilities (PIP) is not essential. However, the Rao-Backwellized
estimator associated with this sampler has a high variance as the ratio between
the signal dimension and the number of conditional PIP estimations is large. In
this paper, we design a new subset weighted-Tempered Gibbs Sampler (wTGS) where
the expected number of computations of conditional PIPs per MCMC iteration can
be much smaller than the signal dimension. Different from the subset wTGS and
wTGS, our sampler has a variable complexity per MCMC iteration. We provide an
upper bound on the variance of an associated Rao-Blackwellized estimator for
this sampler at a finite number of iterations, $T$, and show that the variance
is $O\big(\big(\frac{P}{S}\big)^2 \frac{\log T}{T}\big)$ for a given dataset
where $S$ is the expected number of conditional PIP computations per MCMC
iteration. Experiments show that our Rao-Blackwellized estimator can have a
smaller variance than its counterpart associated with the subset wTGS.
- Abstract(参考訳): 後部包摂確率(PIP)の正確な計算が必須でない高次元アプリケーションにおいて, MCMC繰り返し当たりの計算複雑性を低減するために, サブセット重み付きギブズサンプリング(wTGS)がJankowiakによって最近導入された。
しかし, 信号次元と条件付きPIP推定数との比が大きいため, サンプリング器に付随するReo-Backwellized estimatorは高いばらつきを有する。
本稿では,MCMCイテレーションあたりの条件付きPIPの計算量が信号次元よりもはるかに少ないような,新しいサブセットの重み付きギブズサンプリング(wTGS)を設計する。
サブセット wTGS や wTGS と異なり、サンプルはMCMC イテレーション毎に変動する複雑さを持つ。
我々は、このスプリマーのラオ・ブラックウェル化推定器(rao-blackwellized estimator, rao-blackwellized estimator, rao-blackwellized estimator, rao-blackwellized estimator, rao-blackwellized estimator, rao-blackwellized estimator)の分散を有限個の反復数 ($t$) で表し、その分散がmcmc 反復当たりの条件付き pip 計算の期待数であるようなデータセットに対して $o\big(\frac{p}{s}\big)^2 \frac{\log t}{t}\big)$であることを示す。
実験により、ラオ-ブラックウェル化推定器は、部分集合 wTGS と関連するものよりも分散が小さいことを示す。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - The Curious Price of Distributional Robustness in Reinforcement Learning with a Generative Model [61.87673435273466]
本稿では,強化学習(RL)におけるモデルロバスト性を検討した。
我々は,デプロイ環境が,名目MDPに規定された不確実性に陥る場合に,最悪の場合のパフォーマンスを最適化する政策を学習することを目的とした,分布的に堅牢なマルコフ決定プロセス(RMDP)の枠組みを採用する。
論文 参考訳(メタデータ) (2023-05-26T02:32:03Z) - Sample Complexity of Probability Divergences under Group Symmetry [9.478466072397708]
Wasserstein-1 計量とLipschitz-regularized $alpha$-divergences の場合、サンプルの複雑さの減少は、グループサイズの周囲次元依存性の力に比例する。
最大平均差分率(MMD)については、グループサイズだけでなく、カーネルの選択にも依存するため、サンプルの複雑さの改善はより曖昧である。
論文 参考訳(メタデータ) (2023-02-03T18:50:15Z) - Sharper Analysis for Minibatch Stochastic Proximal Point Methods:
Stability, Smoothness, and Deviation [41.082982732100696]
我々は,凸複合リスク最小化問題の解法として,近位点法(M-SPP)のミニバッチ変種について検討した。
ミニバッチサイズが$n$で二次数が$T$のM-SPPは、予想外収束の速さを楽しむことを示す。
小さい$n$-large-$T$設定では、この結果はSPP型アプローチの最もよく知られた結果を大幅に改善する。
論文 参考訳(メタデータ) (2023-01-09T00:13:34Z) - Linear Complexity Gibbs Sampling for Generalized Labeled Multi-Bernoulli
Filtering [4.186094981300538]
GLMB(Generalized Labeled Multi-Bernoulli)の密度は、単一対象フィルタリングにおいてガウスに類似した多対象系アプリケーションのホストに現れる。
GLMBフィルタ密度の構造を利用して,$mathcalO(T(P+M))$複雑性を実現する。
この革新により、GLMBフィルタの実装は$mathcalO(TP2M)$複雑さから$mathcalO(T(P+M+log T)+PMに縮小できる。
論文 参考訳(メタデータ) (2022-11-29T09:26:43Z) - Data Subsampling for Bayesian Neural Networks [0.0]
ペナルティベイズニューラルネットワーク(PBNN)は、与えられたミニバッチサイズに対して優れた予測性能を達成する。
ミニバッチのサイズを変えることで、予測分布の自然なキャリブレーションが可能になる。
PBNNは、複数の分散デバイスにデータセットを分散する場合に特に適していると考えています。
論文 参考訳(メタデータ) (2022-10-17T14:43:35Z) - Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with
Probabilistically Triggered Arms or Independent Arms [53.89752069984382]
半帯域 (CMAB) について検討し, 半帯域 (CMAB) におけるバッチサイズ (K$) の依存性の低減に着目した。
まず,確率的に引き起こされるアーム(CMAB-T)を用いたCMABの設定に対して,分散を考慮した信頼区間を持つBCUCB-Tアルゴリズムを提案する。
次に,独立アームを用いた非トリガ型CMABの設定に対して,TPVM条件の非トリガ型を利用したSESCBアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-31T13:09:39Z) - Nearly minimax robust estimator of the mean vector by iterative spectral
dimension reduction [5.414308305392762]
ガウス分布の平均ベクトルのロバストな推定問題について検討する。
スペクトル次元減少(SDR)に基づく推定器を導入し,その誤差に基づいて有限標本上限を確立する。
SDR推定器の分解点が、分解点の最大値である1/2$に等しいことを証明した。
論文 参考訳(メタデータ) (2022-04-05T16:29:09Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳(メタデータ) (2020-12-31T18:24:41Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-28T18:52:37Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-05-26T17:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。