論文の概要: Beyond Deep Ensembles -- A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift
- arxiv url: http://arxiv.org/abs/2306.12306v1
- Date: Wed, 21 Jun 2023 14:36:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 12:59:30.146050
- Title: Beyond Deep Ensembles -- A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift
- Title（参考訳）: ディープアンサンブルを超えて - 分布シフトによるベイズディープラーニングの大規模評価
- Authors: Florian Seligmann, Philipp Becker, Michael Volpp, Gerhard Neumann
- Abstract要約: 我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。
そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
- 参考スコア（独自算出の注目度）: 18.786337597824808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian deep learning (BDL) is a promising approach to achieve
well-calibrated predictions on distribution-shifted data. Nevertheless, there
exists no large-scale survey that evaluates recent SOTA methods on diverse,
realistic, and challenging benchmark tasks in a systematic manner. To provide a
clear picture of the current state of BDL research, we evaluate modern BDL
algorithms on real-world datasets from the WILDS collection containing
challenging classification and regression tasks, with a focus on generalization
capability and calibration under distribution shift. We compare the algorithms
on a wide range of large, convolutional and transformer-based neural network
architectures. In particular, we investigate a signed version of the expected
calibration error that reveals whether the methods are over- or
under-confident, providing further insight into the behavior of the methods.
Further, we provide the first systematic evaluation of BDL for fine-tuning
large pre-trained models, where training from scratch is prohibitively
expensive. Finally, given the recent success of Deep Ensembles, we extend
popular single-mode posterior approximations to multiple modes by the use of
ensembles. While we find that ensembling single-mode approximations generally
improves the generalization capability and calibration of the models by a
significant margin, we also identify a failure mode of ensembles when
finetuning large transformer-based language models. In this setting,
variational inference based approaches such as last-layer Bayes By Backprop
outperform other methods in terms of accuracy by a large margin, while modern
approximate inference algorithms such as SWAG achieve the best calibration.
- Abstract（参考訳）: Bayesian Deep Learning (BDL) は、分布シフトしたデータに対するよく校正された予測を実現するための有望なアプローチである。
それにもかかわらず、最近のSOTA手法を多様で現実的で挑戦的なベンチマークタスクを体系的に評価する大規模な調査は存在しない。
本稿では,BDL研究の現状を明らかにするために,WILDSコレクションから,分散シフトによる一般化能力とキャリブレーションに着目した,挑戦的な分類と回帰作業を含む実世界のデータセットに対する最新のBDLアルゴリズムの評価を行った。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャでアルゴリズムを比較した。
特に,予測校正誤差の符号付きバージョンについて検討し,メソッドが過度か過度かを明らかにし,メソッドの振舞いに関するさらなる知見を提供する。
さらに,スクラッチからのトレーニングが極めて高価である大規模事前学習モデルに対して,bdlの体系的評価を行った。
最後に,近年のDeep Ensemblesの成功を踏まえ,一般的な単一モード後部近似をアンサンブルを用いて複数のモードに拡張する。
単一モード近似は一般にモデルの一般化能力とキャリブレーションをかなりの差で向上させるが、大きなトランスフォーマーベース言語モデルを微調整する際のアンサンブルの失敗モードも同定する。
この設定では、最終層ベイズ・バイ・バックプロップのような変分推論に基づくアプローチは、SWAGのような現代の近似推論アルゴリズムが最適なキャリブレーションを達成するのに対し、大きなマージンによる精度で他の手法よりも優れている。
関連論文リスト
- A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。
既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。
DPSに対する新しいベイズ的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-06T09:04:13Z) - Amortized Bayesian Multilevel Models [9.831471158899644]
マルチレベルモデル(MLM)はベイズワークフローの中心的なビルディングブロックである。
MLMは重要な計算上の課題を生じさせ、しばしばその推定と評価は合理的な時間制約の中で難解である。
シミュレーションに基づく推論の最近の進歩は、深層生成ネットワークを用いた複雑な確率モデルに対処するための有望な解決策を提供する。
我々は、マルチレベルモデルの確率的分解を利用して、効率的なニューラルネットワークトレーニングと、未知のデータセットに対する後続の即時推論を容易にするニューラルネットワークアーキテクチャのファミリーを探索する。
論文 参考訳（メタデータ） (2024-08-23T17:11:04Z) - Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling [7.084307990641011]
ベイズ最後の層重みの変分学習に拡散法と暗黙の先行法を組み合わせた新しい手法を提案する。
そこで本手法は,BLLモデルの表現能力を高めることを目的とする。
論文 参考訳（メタデータ） (2024-08-07T12:59:58Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Provably Efficient UCB-type Algorithms For Learning Predictive State
Representations [55.00359893021461]
逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である
本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。
PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
論文 参考訳（メタデータ） (2023-07-01T18:35:21Z) - Bilevel Online Deep Learning in Non-stationary Environment [4.565872584112864]
Bilevel Online Deep Learning (BODL)フレームワークは、双方向最適化戦略とオンラインアンサンブル分類器を組み合わせたフレームワークである。
概念ドリフトが検出されると、BODLアルゴリズムはバイレベル最適化によりモデルパラメータを適応的に更新し、大きなドリフトを回避し、正の転送を促進する。
論文 参考訳（メタデータ） (2022-01-25T11:05:51Z) - A Variational Bayesian Approach to Learning Latent Variables for
Acoustic Knowledge Transfer [55.20627066525205]
本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。
我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
論文 参考訳（メタデータ） (2021-10-16T15:54:01Z) - Towards Trustworthy Predictions from Deep Neural Networks with Fast
Adversarial Calibration [2.8935588665357077]
本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。
本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
論文 参考訳（メタデータ） (2020-12-20T13:39:29Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。