論文の概要: How Tempering Fixes Data Augmentation in Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2205.13900v1
- Date: Fri, 27 May 2022 11:06:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 13:34:36.112427
- Title: How Tempering Fixes Data Augmentation in Bayesian Neural Networks
- Title（参考訳）: ベイズニューラルネットワークにおけるデータ拡張のテンパリング
- Authors: Gregor Bachmann, Lorenzo Noci, Thomas Hofmann
- Abstract要約: テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。
温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
- 参考スコア（独自算出の注目度）: 22.188535244056016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Bayesian neural networks (BNNs) provide a sound and principled
alternative to standard neural networks, an artificial sharpening of the
posterior usually needs to be applied to reach comparable performance. This is
in stark contrast to theory, dictating that given an adequate prior and a
well-specified model, the untempered Bayesian posterior should achieve optimal
performance. Despite the community's extensive efforts, the observed gains in
performance still remain disputed with several plausible causes pointing at its
origin. While data augmentation has been empirically recognized as one of the
main drivers of this effect, a theoretical account of its role, on the other
hand, is largely missing. In this work we identify two interlaced factors
concurrently influencing the strength of the cold posterior effect, namely the
correlated nature of augmentations and the degree of invariance of the employed
model to such transformations. By theoretically analyzing simplified settings,
we prove that tempering implicitly reduces the misspecification arising from
modeling augmentations as i.i.d. data. The temperature mimics the role of the
effective sample size, reflecting the gain in information provided by the
augmentations. We corroborate our theoretical findings with extensive empirical
evaluations, scaling to realistic BNNs. By relying on the framework of group
convolutions, we experiment with models of varying inherent degree of
invariance, confirming its hypothesized relationship with the optimal
temperature.
- Abstract（参考訳）: ベイズ型ニューラルネットワーク(bnns)は、標準的なニューラルネットワークに代わる音質と原理を備えた代替手段を提供するが、後肢の研削は通常、同等の性能に達するために適用される必要がある。
これは理論とは全く対照的で、適切な事前と十分特定されたモデルが与えられた場合、モーメントのないベイズ後方が最適性能を達成するべきであると述べる。
コミュニティの広範な努力にもかかわらず、観測されたパフォーマンスの向上は、その起源を示すいくつかのもっともらしい原因といまだに議論されている。
データ拡張は、この効果の主要な要因の1つとして実証的に認識されているが、その一方で、その役割に関する理論的説明はほとんど失われている。
本研究は,冷間後効果の強度,すなわち拡張の相関特性と,そのような変換に対する採用モデルの不変度に影響を及ぼす2つの介在因子を同時に同定する。
理論的に単純化された設定を解析することにより、テンパリングは、拡張のモデル化による誤特定を暗黙的に減少させる。
温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
我々は,理論的な知見を広範な経験的評価と相関させ,現実的なBNNに拡張する。
群畳み込みの枠組みに依拠して, 固有不変度の異なるモデルについて実験を行い, 最適温度との仮説的関係を確認した。
関連論文リスト
- Counterfactual Generative Modeling with Variational Causal Inference [1.9287470458589586]
本稿では, 逆ファクト生成モデリングタスクを扱うための変分ベイズ因果推論フレームワークを提案する。
実験では, 反ファクト生成モデルにおける最先端モデルと比較して, フレームワークの利点を実証する。
論文 参考訳（メタデータ） (2024-10-16T16:44:12Z) - C-XGBoost: A tree boosting model for causal effect estimation [8.246161706153805]
因果効果推定は、平均処理効果と、治療の条件平均処理効果を、利用可能なデータから得られる結果に推定することを目的としている。
本稿では,C-XGBoost という新たな因果推論モデルを提案する。
論文 参考訳（メタデータ） (2024-03-31T17:43:37Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。
この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文 参考訳（メタデータ） (2023-04-25T07:42:06Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳（メタデータ） (2022-06-10T15:09:46Z) - Towards Principled Causal Effect Estimation by Deep Identifiable Models [21.33872753593482]
本研究では, 未観測条件下での処理効果 (TE) の推定について検討する。
本稿では,変分オートエンコーダ(VAE)の新たな変種であるIntact-VAEを提案する。
論文 参考訳（メタデータ） (2021-09-30T12:19:45Z) - Efficient Causal Inference from Combined Observational and
Interventional Data through Causal Reductions [68.6505592770171]
因果効果を推定する際の主な課題の1つである。
そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。
パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T14:29:07Z) - Sparse Bayesian Causal Forests for Heterogeneous Treatment Effects
Estimation [0.0]
本稿では,ベイジアン因果樹林のスパース性誘導型を考案する。
観察データを用いて不均一な治療効果を推定する。
論文 参考訳（メタデータ） (2021-02-12T15:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。