論文の概要: Being a Bit Frequentist Improves Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2106.10065v1
• Date: Fri, 18 Jun 2021 11:22:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:19:09.823498
• Title: Being a Bit Frequentist Improves Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークを改良したビット周波数器
• Authors: Agustinus Kristiadi and Matthias Hein and Philipp Hennig
• Abstract要約: OODを訓練したBNNは、近年の頻繁なベースラインに劣らず、競争力があることを示す。 この研究はベイジアンおよび頻繁なUQにおける将来の研究の強力なベースラインを提供する。
• 参考スコア（独自算出の注目度）: 76.73339435080446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their compelling theoretical properties, Bayesian neural networks (BNNs) tend to perform worse than frequentist methods in classification-based uncertainty quantification (UQ) tasks such as out-of-distribution (OOD) detection and dataset-shift robustness. In this work, based on empirical findings in prior works, we hypothesize that this issue is due to the avoidance of Bayesian methods in the so-called "OOD training" -- a family of techniques for incorporating OOD data during training process, which has since been an integral part of state-of-the-art frequentist UQ methods. To validate this, we treat OOD data as a first-class citizen in BNN training by exploring four different ways of incorporating OOD data in Bayesian inference. We show in extensive experiments that OOD-trained BNNs are competitive to, if not better than recent frequentist baselines. This work thus provides strong baselines for future work in both Bayesian and frequentist UQ.
• Abstract（参考訳）: その説得力のある理論的性質にもかかわらず、ベイズニューラルネットワーク(BNN)は分類に基づく不確実性定量化(UQ)タスクにおいて、アウト・オブ・ディストリビューション(OOD)検出やデータセットシフトロバストネス(英語版)といった頻繁な手法よりもパフォーマンスが悪い傾向にある。 本研究は, 先行研究における実証的な知見に基づいて, いわゆる「OODトレーニング」におけるベイズ的手法の回避によるものであると仮定する。 これを検証するため,ベイズ推論にOODデータを組み込む4つの方法を探ることで,BNNトレーニングにおいてOODデータを第一級市民として扱う。 OODを訓練したBNNは,近年の頻繁なベースラインに劣らず,競争力があることを示す。 この研究はベイズ的および頻繁なUQにおける将来の研究の強力な基盤となる。

関連論文リスト

• Gradient-Regularized Out-of-Distribution Detection [28.542499196417214]
  現実のアプリケーションにおけるニューラルネットワークの課題の1つは、これらのモデルが元のトレーニングディストリビューションからデータが送られていないときに犯す過信エラーである。 本稿では,学習中の損失関数の勾配に埋め込まれた情報を活用して,ネットワークが各サンプルに対して所望のOODスコアを学習できるようにする方法を提案する。 また、トレーニング期間中に、より情報性の高いOODサンプルにネットワークを露出させるための、新しいエネルギーベースのサンプリング手法を開発した。
  論文  参考訳（メタデータ） (2024-04-18T17:50:23Z)
• Preventing Arbitrarily High Confidence on Far-Away Data in Point-Estimated Discriminative Neural Networks [28.97655735976179]
  ReLUネットワークは、テストデータがトレーニングセットから遠く離れている場合、ほぼ常に高い信頼性の予測が得られることが示されている。 我々は、余剰クラスのロジットに対応するニューラルネットワークの出力に項を追加することで、この問題を克服する。 この技術は、簡易な識別点推定訓練を維持しながら、遠距離試験データに対する任意に高い信頼を確実に防止する。
  論文  参考訳（メタデータ） (2023-11-07T03:19:16Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
  異常検出タスクはAIの安全性において重要な役割を担っている。 ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。 我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:59:55Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks [26.0303701309125]
  本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。 このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。 本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
  論文  参考訳（メタデータ） (2021-02-25T16:14:47Z)
• Probing Predictions on OOD Images via Nearest Categories [97.055916832257]
  ニューラルネットワークが未確認のクラスや破損したイメージから画像を分類する際のアウト・オブ・ディストリビューション(OOD)予測挙動について検討する。 我々は、トレーニングセットにおいて、最も近い隣人と同じラベルで分類されたOOD入力の分数を計算するため、新しい測度、最も近いカテゴリ一般化(NCG)を導入する。 我々は、OODデータがロバストネス半径よりも遥かに遠くにある場合でも、ロバストネットワークは自然訓練よりも一貫してNCG精度が高いことを発見した。
  論文  参考訳（メタデータ） (2020-11-17T07:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。