論文の概要: Cold Posteriors through PAC-Bayes

• arxiv url: http://arxiv.org/abs/2206.11173v1
• Date: Wed, 22 Jun 2022 15:30:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 13:35:32.928268
• Title: Cold Posteriors through PAC-Bayes
• Title（参考訳）: PACベイを通した冷間後部
• Authors: Konstantinos Pitas, Julyan Arbel
• Abstract要約: ベイズ推定はサンプル外データに対して容易に性能を保証するものではないと我々は主張する。 PAC-Bayesianによる温度パラメータの解釈は, 低温後部効果をいかに捉えているかを示す。
• 参考スコア（独自算出の注目度）: 8.452237741722726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the cold posterior effect through the lens of PAC-Bayes generalization bounds. We argue that in the non-asymptotic setting, when the number of training samples is (relatively) small, discussions of the cold posterior effect should take into account that approximate Bayesian inference does not readily provide guarantees of performance on out-of-sample data. Instead, out-of-sample error is better described through a generalization bound. In this context, we explore the connections between the ELBO objective from variational inference and the PAC-Bayes objectives. We note that, while the ELBO and PAC-Bayes objectives are similar, the latter objectives naturally contain a temperature parameter $\lambda$ which is not restricted to be $\lambda=1$. For both regression and classification tasks, in the case of isotropic Laplace approximations to the posterior, we show how this PAC-Bayesian interpretation of the temperature parameter captures the cold posterior effect.
• Abstract（参考訳）: PAC-Bayes一般化境界のレンズによる冷後効果について検討した。 非漸近的な環境では、トレーニングサンプルの数(相対的に)が小さい場合には、ベイズ近似がサンプル外データの性能保証を容易に提供できないことを考慮し、冷間後効果に関する議論を考慮すべきである。 代わりに、アウト・オブ・サンプルエラーは一般化境界によってよりよく記述される。 この文脈では、変動推論からELBO目標とPAC-Bayes目標の関連性を検討する。 elbo と pac-bayes の目標は似ているが、後者の目標は自然に $\lambda=1$ と制限されない温度パラメータ $\lambda$ を含む。 回帰と分類のタスクでは, 後方への等方ラプラス近似の場合, 温度パラメータのpac-ベイズ解釈が寒冷後効果をどのように捉えているかを示す。

関連論文リスト

• Temperature Optimization for Bayesian Deep Learning [9.610060788662972]
  テストログ予測密度を最大化する温度を選択するためのデータ駆動手法を提案する。 提案手法は,グリッド探索において,コストのごく一部で比較可能な性能を実証的に証明する。
  論文  参考訳（メタデータ） (2024-10-08T07:32:22Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• Estimating optimal PAC-Bayes bounds with Hamiltonian Monte Carlo [7.7420347269652945]
  最適後部を用いてデータ非依存のPAC-Bayes境界を推定する。 MNISTデータセットに対する我々の実験は、いくつかのケースでは最大5-6%の、かなりきついギャップがあることを明らかにした。
  論文  参考訳（メタデータ） (2023-10-30T22:16:51Z)
• The fine print on tempered posteriors [4.503508912578133]
  我々は,温床後部を詳細に調査し,いくつかの重要かつ未特定な点を明らかにした。 以前の研究とは対照的に、最終的にPAC-Bayesian分析により、$lambda$の温度は、不一致の事前または可能性の修正として見ることはできないことを示した。
  論文  参考訳（メタデータ） (2023-09-11T08:21:42Z)
• Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization [51.41175648612714]
  分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。 提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。 提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-19T19:25:56Z)
• Invasiveness of non-equilibrium quantum thermometry [0.0]
  量子プローブによって得られた温度情報と、相互作用によって吸収された試料の熱との間には、非自明な関係があることが示されている。 この結果は、量子温度測定の熱力学的およびエネルギー的コストの分析に向けた第一歩でもある。
  論文  参考訳（メタデータ） (2023-05-05T11:16:17Z)
• Robust PAC$^m$: Training Ensemble Models Under Misspecification and Outliers [46.38465729190199]
  PAC-ベイズ理論は、ベイズ学習によって最小化された自由エネルギー基準が、ギブス予想器の一般化誤差に束縛されていることを証明している。 この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
  論文  参考訳（メタデータ） (2022-03-03T17:11:07Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。