論文の概要: Practical calibration of the temperature parameter in Gibbs posteriors
- arxiv url: http://arxiv.org/abs/2004.10522v1
- Date: Wed, 22 Apr 2020 12:23:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 17:48:16.882896
- Title: Practical calibration of the temperature parameter in Gibbs posteriors
- Title（参考訳）: ギブス後肢の温度パラメータの実用的校正
- Authors: Lucie Perrotta
- Abstract要約: PAC-BayesianアルゴリズムとGibs後部アルゴリズムは、モデル不特定に対する堅牢性から人気を集めている。
アルファチューニングのためのデータ駆動方式が提案されているが、まだ少数であり、しばしば計算量が多い。
そこで我々は, 高精度かつ変動的なアルファ・ポストプレクタの両方で動作するアルファをチューニングするための高速な手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: PAC-Bayesian algorithms and Gibbs posteriors are gaining popularity due to
their robustness against model misspecification even when Bayesian inference is
inconsistent. The PAC-Bayesian alpha-posterior is a generalization of the
standard Bayes posterior which can be tempered with a parameter alpha to handle
inconsistency. Data driven methods for tuning alpha have been proposed but are
still few, and are often computationally heavy. Additionally, the adequacy of
these methods in cases where we use variational approximations instead of exact
alpha-posteriors is not clear. This narrows their usage to simple models and
prevents their application to large-scale problems. We hence need fast methods
to tune alpha that work with both exact and variational alpha-posteriors.
First, we propose two data driven methods for tuning alpha, based on
sample-splitting and bootstrapping respectively. Second, we formulate the
(exact or variational) posteriors of three popular statistical models, and
modify them into alpha-posteriors. For each model, we test our strategies and
compare them with standard Bayes and Grunwald's SafeBayes. While bootstrapping
achieves mixed results, sample-splitting and SafeBayes perform well on the
exact and variational alpha-posteriors we describe, and achieve better results
than standard Bayes in misspecified or complex models. Additionally,
sample-splitting outperforms SafeBayes in terms of speed. Sample-splitting
offers a fast and easy solution to inconsistency and typically performs
similarly or better than Bayesian inference. Our results provide hints on the
calibration of alpha in PAC-Bayesian and Gibbs posteriors, and may facilitate
using these methods in large and complex models.
- Abstract（参考訳）: PAC-ベイジアンアルゴリズムとギブズ後部アルゴリズムは、ベイジアン推論が矛盾している場合でも、モデル不特定に対する堅牢性のために人気を集めている。
pac-bayesian alpha-posterior は、標準ベイズ後方の一般化であり、不整合を扱うパラメータアルファで温めることができる。
アルファチューニングのためのデータ駆動方式が提案されているが、まだ少数であり、しばしば計算量が多い。
さらに、厳密なα-posteriorsの代わりに変分近似を用いる場合のこれらの方法の適切性は明確ではない。
これにより、単純なモデルに制限され、大規模な問題への適用が妨げられる。
そのため、正確なα-posteriorsと変分的α-posteriorsの両方で動作するアルファをチューニングするための高速メソッドが必要です。
まず,サンプルスプリッティングとブートストラップに基づいて,アルファをチューニングするための2つのデータ駆動手法を提案する。
第二に、3つの人気のある統計モデルの(実または変分的な)後部を定式化し、それらをα-posteriorsに変更する。
各モデルについて、戦略をテストし、標準的なベイズやGrunwaldのSafeBayesと比較します。
ブートストレッピングは混合結果が得られるが、サンプル分割とSafeBaysは、我々が記述した精密かつ変動的なアルファ・フォレアー上でよく機能し、不特定または複雑なモデルにおける標準ベイズよりも優れた結果が得られる。
さらに、サンプルスプリッティングはsafebayesをスピードで上回っている。
サンプル分割は不整合に対する高速で簡単な解を提供し、通常ベイズ推論と同様かそれ以上に機能する。
以上の結果から, PAC-Bayesian および Gibbs の後部におけるα校正のヒントが得られ, 大規模・複雑モデルでのこれらの手法の活用が容易になる可能性が示唆された。
関連論文リスト
- FABind: Fast and Accurate Protein-Ligand Binding [127.7790493202716]
$mathbfFABind$はポケット予測とドッキングを組み合わせたエンドツーエンドモデルで、正確で高速なタンパク質-リガンド結合を実現する。
提案モデルでは,既存手法と比較して有効性と効率性に強い利点が示される。
論文 参考訳（メタデータ） (2023-10-10T16:39:47Z) - Plug-and-Play split Gibbs sampler: embedding deep generative priors in
Bayesian inference [12.91637880428221]
本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。
後方サンプリングの課題を2つの単純なサンプリング問題に分割する。
その性能は最近の最先端の最適化とサンプリング手法と比較される。
論文 参考訳（メタデータ） (2023-04-21T17:17:51Z) - Robust One Round Federated Learning with Predictive Space Bayesian
Inference [19.533268415744338]
クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。
本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-06-20T01:06:59Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳（メタデータ） (2022-05-27T11:13:17Z) - Variational Inference for Bayesian Bridge Regression [0.0]
橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。
ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。
B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
論文 参考訳（メタデータ） (2022-05-19T12:29:09Z) - Residual Overfit Method of Exploration [78.07532520582313]
提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。
このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。
ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
論文 参考訳（メタデータ） (2021-10-06T17:05:33Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳（メタデータ） (2021-07-03T23:17:26Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳（メタデータ） (2021-02-05T13:01:12Z) - The FMRIB Variational Bayesian Inference Tutorial II: Stochastic
Variational Bayes [1.827510863075184]
このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。
この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
論文 参考訳（メタデータ） (2020-07-03T11:31:52Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z) - Uncertainty quantification using martingales for misspecified Gaussian
processes [52.22233158357913]
本稿では,ガウス過程(GP)の不確定な定量化を,不特定先行条件下で解決する。
マルティンゲール法を用いて未知関数に対する信頼シーケンス(CS)を構築する。
我々のCSは統計的に有効であり、実証的に標準GP法より優れています。
論文 参考訳（メタデータ） (2020-06-12T17:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。