論文の概要: Disentangling the Roles of Curation, Data-Augmentation and the Prior in
the Cold Posterior Effect
- arxiv url: http://arxiv.org/abs/2106.06596v1
- Date: Fri, 11 Jun 2021 20:04:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 16:31:18.639645
- Title: Disentangling the Roles of Curation, Data-Augmentation and the Prior in
the Cold Posterior Effect
- Title（参考訳）: 冷後効果におけるキュレーション, データ拡張, 先行の役割の解明
- Authors: Lorenzo Noci, Kevin Roth, Gregor Bachmann, Sebastian Nowozin and
Thomas Hofmann
- Abstract要約: コールド後部効果(CPE)は、ベイズニューラルネットワークの予測性能を著しく改善できるという不快な観察を記述している。
冷後効果に関する既存の説明に関係のある,新規かつ曖昧な証拠を提示する。
以上の結果から,CPEは合成キュレーション,データ拡張,不良前駆体から分離される可能性が示唆された。
- 参考スコア（独自算出の注目度）: 45.46732383818331
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The "cold posterior effect" (CPE) in Bayesian deep learning describes the
uncomforting observation that the predictive performance of Bayesian neural
networks can be significantly improved if the Bayes posterior is artificially
sharpened using a temperature parameter T<1. The CPE is problematic in theory
and practice and since the effect was identified many researchers have proposed
hypotheses to explain the phenomenon. However, despite this intensive research
effort the effect remains poorly understood. In this work we provide novel and
nuanced evidence relevant to existing explanations for the cold posterior
effect, disentangling three hypotheses: 1. The dataset curation hypothesis of
Aitchison (2020): we show empirically that the CPE does not arise in a real
curated data set but can be produced in a controlled experiment with varying
curation strength. 2. The data augmentation hypothesis of Izmailov et al.
(2021) and Fortuin et al. (2021): we show empirically that data augmentation is
sufficient but not necessary for the CPE to be present. 3. The bad prior
hypothesis of Wenzel et al. (2020): we use a simple experiment evaluating the
relative importance of the prior and the likelihood, strongly linking the CPE
to the prior. Our results demonstrate how the CPE can arise in isolation from
synthetic curation, data augmentation, and bad priors. Cold posteriors observed
"in the wild" are therefore unlikely to arise from a single simple cause; as a
result, we do not expect a simple "fix" for cold posteriors.
- Abstract（参考訳）: ベイズ深層学習におけるcold posterior effect(cpe)は、温度パラメータt<1を用いてベイズ後方を人工的に研削すると、ベイズニューラルネットワークの予測性能が著しく向上する、という不快な観察を記述している。
CPEは理論と実践に問題があり、この効果が同定されたため、多くの研究者がこの現象を説明する仮説を提案している。
しかし、この集中的な研究努力にもかかわらず、効果はよく分かっていない。
本研究は, 冷後効果に関する既存の説明に係わる, 新規かつ曖昧な証拠を提示し, 3つの仮説を議論する。
The dataset curation hypothesis of Aitchison (2020): we showed empirically showed that the CPE not occur in a real curated data set but can be produced in an controlled experiment with various curation strength。
2.
Izmailovらによるデータの増大仮説。
(2021年)とFortuin et al。
(2021):CPEが存在するためにはデータ拡張が十分だが必要ではないことを実証的に示す。
3.
ウェンツェルとアルの 先天的な仮説です
(2020): CPEとCPEを強く結び付ける上で, 先行と可能性の相対的重要性を評価するための簡単な実験を行った。
以上の結果から,CPEは合成キュレーション,データ拡張,不良前駆体から分離される可能性が示唆された。
そのため、「野生で」観察された冷えた後部は、単一の単純な原因から生じる可能性が低いため、冷えた後部に対する単純な「固定」は期待できない。
関連論文リスト
- Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。
最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。
以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
論文 参考訳（メタデータ） (2024-05-27T13:26:34Z) - Identification of Single-Treatment Effects in Factorial Experiments [0.0]
実験において複数の介入がランダム化されている場合、実験環境外において単一の介入が与える影響は、不在の英雄的仮定とは見なされないことを示す。
観測研究と要因実験は、ゼロおよび複数介入による潜在的アウトカム分布に関する情報を提供する。
この種の設計に頼っている研究者は、関数形式の線形性を正当化するか、あるいはDirected Acyclic Graphsで変数が実世界でどのように関連しているかを特定する必要がある。
論文 参考訳（メタデータ） (2024-05-16T04:01:53Z) - If there is no underfitting, there is no Cold Posterior Effect [6.622600476046688]
低温後部効果 (CPE) は, 温度がT1$の後方ではベイズ後部よりも良好な性能を示した。
以上の結果から,不特定性がCPEに繋がるのはベイジアン後部不適合例のみであると考えられた。
論文 参考訳（メタデータ） (2023-10-02T13:28:09Z) - Closed-loop Error Correction Learning Accelerates Experimental Discovery
of Thermoelectric Materials [2.7663141853912228]
我々は、誤り訂正学習(ECL)を用いて、過去のデータを組み込んで、実験的なフィードバックを用いて更新し、洗練することを目指している。
次に、この戦略を温度300degCで合成を優先する熱電材料の発見に適用する。
本研究は, クローズドループ実験法により, 3倍の最適化材料を見つけるために必要な実験量を削減できることを示唆する。
論文 参考訳（メタデータ） (2023-02-26T18:37:19Z) - BaCaDI: Bayesian Causal Discovery with Unknown Interventions [118.93754590721173]
BaCaDIは因果構造と介入の両方の潜在確率的表現の連続的な空間で機能する。
BaCaDIは、合成因果発見タスクとシミュレートされた遺伝子発現データの実験において、因果構造と介入ターゲットを識別する関連手法より優れている。
論文 参考訳（メタデータ） (2022-06-03T16:25:48Z) - How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。
温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
論文 参考訳（メタデータ） (2022-05-27T11:06:56Z) - SurvCaus : Representation Balancing for Survival Causal Inference [3.4161707164978137]
多くの病理学では、関心の結果は(おそらく検閲された)生存時間である。
本稿では,生存環境における現実的推論に適用可能な表現バランスフレームワークの理論的保証を提案する。
論文 参考訳（メタデータ） (2022-03-29T15:33:55Z) - Efficient Causal Inference from Combined Observational and
Interventional Data through Causal Reductions [68.6505592770171]
因果効果を推定する際の主な課題の1つである。
そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。
パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T14:29:07Z) - Correct block-design experiments mitigate temporal correlation bias in
EEG classification [68.85562949901077]
[1]の主主張は極めて過大評価されており、他の分析は間違った方法論的選択によって深刻な欠陥を負っていることを示す。
脳波の時間相関が2つの実験環境で同じモデルをテストすることによって分類精度に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2020-11-25T22:25:21Z) - DeepRite: Deep Recurrent Inverse TreatmEnt Weighting for Adjusting
Time-varying Confounding in Modern Longitudinal Observational Data [68.29870617697532]
時系列データにおける時間変化の相違に対するDeep Recurrent Inverse TreatmEnt重み付け(DeepRite)を提案する。
DeepRiteは、合成データから基底的真理を復元し、実際のデータから偏りのない処理効果を推定する。
論文 参考訳（メタデータ） (2020-10-28T15:05:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。