論文の概要: BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks

• arxiv url: http://arxiv.org/abs/2207.06873v1
• Date: Thu, 14 Jul 2022 12:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 19:47:20.272425
• Title: BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks
• Title（参考訳）: ベイズキャップ:凍結ニューラルネットワークの校正不確かさに対するベイズID上限
• Authors: Uddeshya Upadhyay, Shyamgopal Karthik, Yanbei Chen, Massimiliano Mancini, Zeynep Akata
• Abstract要約: 本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。 本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 50.15201777970128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality calibrated uncertainty estimates are crucial for numerous real-world applications, especially for deep learning-based deployed ML systems. While Bayesian deep learning techniques allow uncertainty estimation, training them with large-scale datasets is an expensive process that does not always yield models competitive with non-Bayesian counterparts. Moreover, many of the high-performing deep learning models that are already trained and deployed are non-Bayesian in nature and do not provide uncertainty estimates. To address these issues, we propose BayesCap that learns a Bayesian identity mapping for the frozen model, allowing uncertainty estimation. BayesCap is a memory-efficient method that can be trained on a small fraction of the original dataset, enhancing pretrained non-Bayesian computer vision models by providing calibrated uncertainty estimates for the predictions without (i) hampering the performance of the model and (ii) the need for expensive retraining the model from scratch. The proposed method is agnostic to various architectures and tasks. We show the efficacy of our method on a wide variety of tasks with a diverse set of architectures, including image super-resolution, deblurring, inpainting, and crucial application such as medical image translation. Moreover, we apply the derived uncertainty estimates to detect out-of-distribution samples in critical scenarios like depth estimation in autonomous driving. Code is available at https://github.com/ExplainableML/BayesCap.
• Abstract（参考訳）: 高品質な校正不確実性推定は、多くの実世界のアプリケーション、特にディープラーニングベースのデプロイMLシステムにとって不可欠である。 ベイズ深層学習技術は不確実性の推定を可能にするが、大規模データセットでトレーニングすることは高価なプロセスであり、ベイズ以外のモデルと競合するとは限らない。 さらに、すでに訓練され、デプロイされている高性能なディープラーニングモデルの多くは、本質的にベイジアンではない。 これらの問題に対処するために,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 bayescapは、元のデータセットのごく一部でトレーニングできるメモリ効率のよい方法であり、予測に校正された不確実性推定を提供することで、事前訓練された非ベイズ型コンピュータビジョンモデルを拡張する。 (i)モデルの性能を阻害し、 (二)スクラッチからモデルを再訓練する費用がかかること。 提案手法は様々なアーキテクチャやタスクに依存しない。 本稿では,画像超解像,デブロアリング,インペイント,医用画像翻訳などの重要な応用など,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。 さらに, 自動走行における深さ推定のような重要なシナリオにおける分布外サンプルの検出に, 導出の不確実性推定を適用する。 コードはhttps://github.com/ExplainableML/BayesCapで入手できる。

関連論文リスト

• Estimating Uncertainty with Implicit Quantile Network [0.0]
  不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。 本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-08-26T13:33:14Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
  本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。 提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。 提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
  論文  参考訳（メタデータ） (2022-12-14T17:34:11Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• $f$-Cal: Calibrated aleatoric uncertainty estimation from neural networks for robot perception [9.425514903472545]
  既存のアプローチでは、ネットワークアーキテクチャ、推論手順、損失関数を変更することで、ニューラルネットワークの知覚スタックから不確実性を推定する。 私たちの重要な洞察は、キャリブレーションはミニバッチのような複数の例に制約を課すことでのみ達成できるということです。 ニューラルネットワークの出力分布を、$f$-divergenceを最小にすることで、ターゲット分布に類似させることにより、従来のアプローチに比べてはるかに優れた校正モデルが得られる。
  論文  参考訳（メタデータ） (2021-09-28T17:57:58Z)
• PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
  高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。 我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。 提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-28T17:56:41Z)
• Understanding Uncertainty in Bayesian Deep Learning [0.0]
  我々は,NLMの従来のトレーニング手順が,データスカース領域における不確実性を大幅に過小評価できることを示した。 本稿では,有用な予測の不確実性を捉えるとともに,ドメイン知識の組み入れを可能にする新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-05-21T19:22:17Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks [23.100727871427367]
  本稿では,従来のニューラル線形モデルのトレーニング手順が,アウト・オブ・ディストリビューション・インプットに対する不確実性を大幅に過小評価していることを示す。 下流タスクに有用な予測不確実性を捉える新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-21T02:46:05Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。