Fugu-MT 論文翻訳(概要): Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences

論文の概要: Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences

arxiv url: http://arxiv.org/abs/2008.06729v1
Date: Sat, 15 Aug 2020 15:03:46 GMT
ステータス: 処理完了
システム内更新日: 2022-10-28 20:44:51.461209
Title: Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences
Title（参考訳）: Alpha-divergences を用いたベイズニューラルネットワークの信頼性の不確かさ
Authors: Hector J. Hortua, Luigi Malago, Riccardo Volpi
Abstract要約: 本稿では,情報幾何学のα偏差に基づくBNNの校正手法を提案する。キャリブレーションの利用により,アルファ選択に対する不確実性の推定精度が向上し,特に複雑なネットワークアーキテクチャにおいて効率が向上することを示す。
参考スコア（独自算出の注目度）: 10.28074017512078
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Bayesian Neural Networks (BNNs) often result uncalibrated after training, usually tending towards overconfidence. Devising effective calibration methods with low impact in terms of computational complexity is thus of central interest. In this paper we present calibration methods for BNNs based on the alpha divergences from Information Geometry. We compare the use of alpha divergence in training and in calibration, and we show how the use in calibration provides better calibrated uncertainty estimates for specific choices of alpha and is more efficient especially for complex network architectures. We empirically demonstrate the advantages of alpha calibration in regression problems involving parameter estimation and inferred correlations between output uncertainties.
Abstract（参考訳）: ベイジアンニューラルネットワーク(bnns)はトレーニングの後に、通常過剰な自信に向かう傾向がある。計算複雑性の観点からは影響の少ない効果的な校正法の開発が中心的な関心事である。本稿では,情報幾何学からのアルファ発散に基づくBNNの校正手法を提案する。トレーニングとキャリブレーションにおけるアルファ偏差の使い方を比較し、キャリブレーションにおける使用がアルファ選択に対するキャリブレーションの不確実性評価をより良くし、特に複雑なネットワークアーキテクチャにおいてより効率的であることを示す。パラメータ推定と出力の不確かさの相関を推定する回帰問題におけるアルファキャリブレーションの利点を実証的に示す。

関連論文リスト

Tilt and Average : Geometric Adjustment of the Last Layer for Recalibration [2.81765024056154]
キャリブレーションは信頼性と精度を一致させ予測の信頼性を高めることを目的としていますキャリブレーションマップに基づくいくつかの解がこの問題に対処するために提案されている。我々は、キャリブレーションマップに基づくアプローチとは異なる、分類器の最後の層の重みを変換するアルゴリズムを提供する。
論文参考訳（メタデータ） (2024-06-14T13:27:56Z)
Calibration-Aware Bayesian Learning [37.82259435084825]
本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
論文参考訳（メタデータ） (2023-05-12T14:19:15Z)
Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文参考訳（メタデータ） (2023-03-25T08:56:21Z)
Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文参考訳（メタデータ） (2023-03-19T20:27:51Z)
On double-descent in uncertainty quantification in overparametrized models [24.073221004661427]
不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
論文参考訳（メタデータ） (2022-10-23T16:01:08Z)
Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文参考訳（メタデータ） (2022-06-15T05:48:51Z)
Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization [22.57474734944132]
本研究では,アンサンブルとポストホックの校正手法を統合するための真理発見フレームワークを提案する。 CIFARやImageNetなどの大規模データセットでは,最先端のキャリブレーション手法に対して一貫した改善が見られた。
論文参考訳（メタデータ） (2021-06-25T06:44:16Z)
On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文参考訳（メタデータ） (2021-06-17T11:04:14Z)
Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文参考訳（メタデータ） (2020-06-23T07:18:05Z)
On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
論文参考訳（メタデータ） (2020-03-22T16:54:31Z)
Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。