論文の概要: Estimating optimal PAC-Bayes bounds with Hamiltonian Monte Carlo

• arxiv url: http://arxiv.org/abs/2310.20053v1
• Date: Mon, 30 Oct 2023 22:16:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 17:26:56.282114
• Title: Estimating optimal PAC-Bayes bounds with Hamiltonian Monte Carlo
• Title（参考訳）: ハミルトンモンテカルロを用いた最適PAC-Bayes境界の推定
• Authors: Szilvia Ujv\'ary, Gergely Flamich, Vincent Fortuin, Jos\'e Miguel Hern\'andez Lobato
• Abstract要約: 最適後部を用いてデータ非依存のPAC-Bayes境界を推定する。 MNISTデータセットに対する我々の実験は、いくつかのケースでは最大5-6%の、かなりきついギャップがあることを明らかにした。
• 参考スコア（独自算出の注目度）: 7.7420347269652945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An important yet underexplored question in the PAC-Bayes literature is how much tightness we lose by restricting the posterior family to factorized Gaussian distributions when optimizing a PAC-Bayes bound. We investigate this issue by estimating data-independent PAC-Bayes bounds using the optimal posteriors, comparing them to bounds obtained using MFVI. Concretely, we (1) sample from the optimal Gibbs posterior using Hamiltonian Monte Carlo, (2) estimate its KL divergence from the prior with thermodynamic integration, and (3) propose three methods to obtain high-probability bounds under different assumptions. Our experiments on the MNIST dataset reveal significant tightness gaps, as much as 5-6\% in some cases.
• Abstract（参考訳）: PAC-Bayes文学における重要な未発見の疑問は、PAC-Bayes境界を最適化する際、後続の族をガウス分布に限定することで、どれだけの厳密さを失うかである。 本稿では,データ非依存のPAC-Bayes境界を最適後部を用いて推定し,MFVIを用いて得られた境界と比較する。 具体的には,(1)ハミルトニアン・モンテカルロを用いた最適ギブス後部からのサンプル,(2)熱力学積分によるKLの偏差を推定し,(3)異なる仮定の下で高確率境界を求める3つの方法を提案する。 mnistデータセットを用いた実験では, 5～6 %程度の密着度差がみられた。

関連論文リスト

• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• Randomized Physics-Informed Machine Learning for Uncertainty Quantification in High-Dimensional Inverse Problems [49.1574468325115]
  本研究では,高次元逆問題における不確実性定量化のための物理インフォームド機械学習手法を提案する。 我々は解析的に、そして、ハミルトン・モンテカルロとの比較を通して、rPICKLE はベイズ則によって与えられる真の後続に収束することを示す。
  論文  参考訳（メタデータ） (2023-12-11T07:33:16Z)
• Bayesian imaging inverse problem with SA-Roundtrip prior via HMC-pCN sampler [3.717366858126521]
  事前分布の選択は、利用可能な事前測定の重要表現学習から学習される。 SA-Roundtripは、制御されたサンプリング生成を可能にし、データの本質的な次元を識別するために、新しい深層生成前のSA-Roundtripを導入している。
  論文  参考訳（メタデータ） (2023-10-24T17:16:45Z)
• Optimality of Thompson Sampling with Noninformative Priors for Pareto Bandits [81.45853204922795]
  トンプソンサンプリングは、いくつかの報酬モデルにおいて問題依存の低い境界を達成することが示されている。 重い尾を持つパレートモデルに対するTSの最適性は、2つの未知のパラメータによってパラメータ化される。 ジェフリーズおよび参照先行値を持つTSは、トラルニケート手順を使用すると、下界を達成できる。
  論文  参考訳（メタデータ） (2023-02-03T04:47:14Z)
• Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances [19.717598118374056]
  スライス・ワッサーシュタイン距離は理論上ワッサーシュタイン距離の代替となる。 我々は、PAC-ベイズ理論とSWが平均リスクと解釈されるという中心的な観察を利用する。
  論文  参考訳（メタデータ） (2022-06-07T12:20:22Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• How Tight Can PAC-Bayes be in the Small Data Regime? [39.15172162668061]
  PAC-Bayesとテストセット境界は、小さなデータセットに対して作成できる。 PAC-Bayes境界は、よく用いられるチャーノフテストセット境界と驚くほど競合することを示した。 最もシャープなテストセット境界は、我々が考慮しているPAC-Bayes境界よりも、一般化誤差のより良い保証につながる。
  論文  参考訳（メタデータ） (2021-06-07T12:11:32Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
  本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。 学習したデータ依存分布はランダム化予測に使用される。
  論文  参考訳（メタデータ） (2020-06-23T14:30:24Z)
• Statistical Efficiency of Thompson Sampling for Combinatorial Semi-Bandits [56.31950477139053]
  半帯域フィードバック(CMAB)を用いたマルチアームバンディットの検討 我々は Combinatorial Thompson Smpling Policy (CTS) の変種を解析する。 この最終結果は,Y Combinatorial Bandit Policy (ESCB) の効率的なサンプリングに代わるものだ。
  論文  参考訳（メタデータ） (2020-06-11T17:12:11Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。