論文の概要: If there is no underfitting, there is no Cold Posterior Effect
- arxiv url: http://arxiv.org/abs/2310.01189v1
- Date: Mon, 2 Oct 2023 13:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 21:39:26.765177
- Title: If there is no underfitting, there is no Cold Posterior Effect
- Title（参考訳）: 下着がなければ 寒冷な後遺症はありません
- Authors: Yijie Zhang, Yi-Shan Wu, Luis A. Ortega and Andr\'es R. Masegosa
- Abstract要約: 低温後部効果 (CPE) は, 温度がT1$の後方ではベイズ後部よりも良好な性能を示した。
以上の結果から,不特定性がCPEに繋がるのはベイジアン後部不適合例のみであると考えられた。
- 参考スコア（独自算出の注目度）: 6.622600476046688
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The cold posterior effect (CPE) (Wenzel et al., 2020) in Bayesian deep
learning shows that, for posteriors with a temperature $T<1$, the resulting
posterior predictive could have better performances than the Bayesian posterior
($T=1$). As the Bayesian posterior is known to be optimal under perfect model
specification, many recent works have studied the presence of CPE as a model
misspecification problem, arising from the prior and/or from the likelihood
function. In this work, we provide a more nuanced understanding of the CPE as
we show that misspecification leads to CPE only when the resulting Bayesian
posterior underfits. In fact, we theoretically show that if there is no
underfitting, there is no CPE.
- Abstract（参考訳）: ベイジアン深層学習におけるcold posterior effect (cpe) (wenzel et al., 2020) は、温度が$t<1$ である場合、結果として得られる後層予測はベイジアン後層 (t=1$) よりも優れた結果が得られることを示している。
ベイズ後部は完璧なモデル仕様の下で最適であることが知られているため、近年の多くの研究はCPEの存在をモデル不特定問題として研究している。
本研究は,ベイズ後部が不適合な場合にのみ,不特定性がCPEにつながることを示すため,より曖昧なCPEの理解を提供する。
実際、理論上、不適合がなければ、CPEは存在しないことが示される。
関連論文リスト
- The fine print on tempered posteriors [4.503508912578133]
我々は,温床後部を詳細に調査し,いくつかの重要かつ未特定な点を明らかにした。
以前の研究とは対照的に、最終的にPAC-Bayesian分析により、$lambda$の温度は、不一致の事前または可能性の修正として見ることはできないことを示した。
論文 参考訳（メタデータ） (2023-09-11T08:21:42Z) - Optimality of Thompson Sampling with Noninformative Priors for Pareto
Bandits [81.45853204922795]
トンプソンサンプリングは、いくつかの報酬モデルにおいて問題依存の低い境界を達成することが示されている。
重い尾を持つパレートモデルに対するTSの最適性は、2つの未知のパラメータによってパラメータ化される。
ジェフリーズおよび参照先行値を持つTSは、トラルニケート手順を使用すると、下界を達成できる。
論文 参考訳（メタデータ） (2023-02-03T04:47:14Z) - Cold Posteriors through PAC-Bayes [8.452237741722726]
ベイズ推定はサンプル外データに対して容易に性能を保証するものではないと我々は主張する。
PAC-Bayesianによる温度パラメータの解釈は, 低温後部効果をいかに捉えているかを示す。
論文 参考訳（メタデータ） (2022-06-22T15:30:21Z) - Posterior temperature optimized Bayesian models for inverse problems in
medical imaging [59.82184400837329]
本研究は, 医用画像における逆問題に対する非教師的ベイズ的アプローチである。
最適化後温度が精度の向上と不確実性評価に繋がることを示す。
ソースコードは calibrated.com/Cardio-AI/mfvi-dip-mia で公開されています。
論文 参考訳（メタデータ） (2022-02-02T12:16:33Z) - Disentangling the Roles of Curation, Data-Augmentation and the Prior in
the Cold Posterior Effect [45.46732383818331]
コールド後部効果(CPE)は、ベイズニューラルネットワークの予測性能を著しく改善できるという不快な観察を記述している。
冷後効果に関する既存の説明に関係のある,新規かつ曖昧な証拠を提示する。
以上の結果から,CPEは合成キュレーション,データ拡張,不良前駆体から分離される可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-11T20:04:20Z) - Posterior Temperature Optimization in Variational Inference [69.50862982117127]
ディープラーニングの文脈では、コールドフォレストは実践上より優れていることが報告されている。
本研究は,まず,平均場変動推定において,完全に温められた後部のためにELBOを導出する。
次にベイズ最適化を用いて最適後温度を自動的に求める。
論文 参考訳（メタデータ） (2021-06-11T13:01:28Z) - Rethinking Class-Prior Estimation for Positive-Unlabeled Learning [199.51740898051486]
正(P)データとラベルなし(U)データのみを与えられたPU学習は、負のデータなしでバイナリ分類器を訓練することができる。
また, 分布推定自由なCPE法は, 正のデータ分布の支持が負のデータ分布の支持に含まれないという批判的な仮定に依拠している。
本稿では、正のデータ分布の支持が負のデータ分布の支持に含まれないように、補助確率分布を構築する再分類CPE(Regrouping CPE)を提案することにより、肯定的な回答を示す。
論文 参考訳（メタデータ） (2020-02-10T11:57:30Z) - How Good is the Bayes Posterior in Deep Neural Networks Really? [46.66866466260469]
我々は、人気のあるディープニューラルネットワークにおけるベイズ後部の現在の理解に疑問を投げかけた。
我々は,ベイズ後縁から誘導される後縁予測が系統的に悪くなることをMCMCサンプリングを用いて実証した。
寒冷な後部を説明できる仮説をいくつか提示し,実験を通じて仮説を評価した。
論文 参考訳（メタデータ） (2020-02-06T17:38:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。