論文の概要: Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian
Variable Selection
- arxiv url: http://arxiv.org/abs/2304.02899v1
- Date: Thu, 6 Apr 2023 07:14:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 15:07:36.385158
- Title: Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian
Variable Selection
- Title（参考訳）: ベイズ変数選択のための可変複素重み付きgibbsサンプラー
- Authors: Lan V. Truong
- Abstract要約: サブセット重み付きギブズサンプリング (wTGS) は、Jankowiakによって、高次元アプリケーションにおけるMCMCイテレーション当たりの計算複雑性を低減するために導入された。
本稿では,MCMCイテレーションあたりの条件付きPIPの計算量が信号次元よりもはるかに少ないような,新しいサブセットの重み付きギブズサンプリング(wTGS)を設計する。
- 参考スコア（独自算出の注目度）: 16.3460693863947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Subset weighted-Tempered Gibbs Sampler (wTGS) has been recently introduced by
Jankowiak to reduce the computation complexity per MCMC iteration in
high-dimensional applications where the exact calculation of the posterior
inclusion probabilities (PIP) is not essential. However, the Rao-Backwellized
estimator associated with this sampler has a high variance as the ratio between
the signal dimension and the number of conditional PIP estimations is large. In
this paper, we design a new subset weighted-Tempered Gibbs Sampler (wTGS) where
the expected number of computations of conditional PIPs per MCMC iteration can
be much smaller than the signal dimension. Different from the subset wTGS and
wTGS, our sampler has a variable complexity per MCMC iteration. We provide an
upper bound on the variance of an associated Rao-Blackwellized estimator for
this sampler at a finite number of iterations, $T$, and show that the variance
is $O\big(\big(\frac{P}{S}\big)^2 \frac{\log T}{T}\big)$ for a given dataset
where $S$ is the expected number of conditional PIP computations per MCMC
iteration. Experiments show that our Rao-Blackwellized estimator can have a
smaller variance than its counterpart associated with the subset wTGS.
- Abstract（参考訳）: 後部包摂確率(PIP)の正確な計算が必須でない高次元アプリケーションにおいて, MCMC繰り返し当たりの計算複雑性を低減するために, サブセット重み付きギブズサンプリング(wTGS)がJankowiakによって最近導入された。
しかし, 信号次元と条件付きPIP推定数との比が大きいため, サンプリング器に付随するReo-Backwellized estimatorは高いばらつきを有する。
本稿では,MCMCイテレーションあたりの条件付きPIPの計算量が信号次元よりもはるかに少ないような,新しいサブセットの重み付きギブズサンプリング(wTGS)を設計する。
サブセット wTGS や wTGS と異なり、サンプルはMCMC イテレーション毎に変動する複雑さを持つ。
我々は、このスプリマーのラオ・ブラックウェル化推定器(rao-blackwellized estimator, rao-blackwellized estimator, rao-blackwellized estimator, rao-blackwellized estimator, rao-blackwellized estimator, rao-blackwellized estimator)の分散を有限個の反復数 ($t$) で表し、その分散がmcmc 反復当たりの条件付き pip 計算の期待数であるようなデータセットに対して $o\big(\frac{p}{s}\big)^2 \frac{\log t}{t}\big)$であることを示す。
実験により、ラオ-ブラックウェル化推定器は、部分集合 wTGS と関連するものよりも分散が小さいことを示す。
関連論文リスト
- Entropy contraction of the Gibbs sampler under log-concavity [0.16385815610837165]
ランダムスキャンギブスサンプリング器は相対エントロピーで収縮し、関連する収縮率を鋭く評価する。
我々の手法は多用途であり、Metropolis-within-GibbsスキームやHit-and-Runアルゴリズムにまで拡張されている。
論文 参考訳（メタデータ） (2024-10-01T16:50:36Z) - Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳（メタデータ） (2024-08-25T04:07:18Z) - Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。
提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-25T16:38:53Z) - Demystifying SGD with Doubly Stochastic Gradients [13.033133586372612]
一般条件下では、独立なミニバッチとランダムリシャッフルを併用した2重SGDの収束特性を確立する。
ランダムリシャッフルによりサブサンプリングノイズの複雑性依存性が向上することが証明された。
論文 参考訳（メタデータ） (2024-06-03T01:13:19Z) - The Curious Price of Distributional Robustness in Reinforcement Learning with a Generative Model [61.87673435273466]
本稿では,強化学習(RL)におけるモデルロバスト性を検討した。
我々は,デプロイ環境が,名目MDPに規定された不確実性に陥る場合に,最悪の場合のパフォーマンスを最適化する政策を学習することを目的とした,分布的に堅牢なマルコフ決定プロセス(RMDP)の枠組みを採用する。
論文 参考訳（メタデータ） (2023-05-26T02:32:03Z) - Contextual Combinatorial Bandits with Probabilistically Triggered Arms [55.9237004478033]
確率的に誘発される腕(C$2$MAB-T)を様々な滑らかさ条件下で検討した。
トリガー変調 (TPM) 条件の下では、C$2$-UC-Tアルゴリズムを考案し、後悔すべき$tildeO(dsqrtT)$を導出する。
論文 参考訳（メタデータ） (2023-03-30T02:51:00Z) - Linear Complexity Gibbs Sampling for Generalized Labeled Multi-Bernoulli
Filtering [4.186094981300538]
GLMB(Generalized Labeled Multi-Bernoulli)の密度は、単一対象フィルタリングにおいてガウスに類似した多対象系アプリケーションのホストに現れる。
GLMBフィルタ密度の構造を利用して,$mathcalO(T(P+M))$複雑性を実現する。
この革新により、GLMBフィルタの実装は$mathcalO(TP2M)$複雑さから$mathcalO(T(P+M+log T)+PMに縮小できる。
論文 参考訳（メタデータ） (2022-11-29T09:26:43Z) - Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms or Independent Arms [59.8188496313214]
半帯域 (CMAB) について検討し, 半帯域 (CMAB) におけるバッチサイズ (K$) の依存性の低減に着目した。
まず,確率的に引き起こされるアーム(CMAB-T)を用いたCMABの設定に対して,分散を考慮した信頼区間を持つBCUCB-Tアルゴリズムを提案する。
次に,独立アームを用いた非トリガ型CMABの設定に対して,TPVM条件の非トリガ型を利用したSESCBアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-08-31T13:09:39Z) - Nearly minimax robust estimator of the mean vector by iterative spectral
dimension reduction [5.414308305392762]
ガウス分布の平均ベクトルのロバストな推定問題について検討する。
スペクトル次元減少(SDR)に基づく推定器を導入し,その誤差に基づいて有限標本上限を確立する。
SDR推定器の分解点が、分解点の最大値である1/2$に等しいことを証明した。
論文 参考訳（メタデータ） (2022-04-05T16:29:09Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-28T18:52:37Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。