論文の概要: Are Bayesian neural networks intrinsically good at out-of-distribution detection?

• arxiv url: http://arxiv.org/abs/2107.12248v1
• Date: Mon, 26 Jul 2021 14:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 16:20:48.264329
• Title: Are Bayesian neural networks intrinsically good at out-of-distribution detection?
• Title（参考訳）: ベイズニューラルネットワークは本質的に分布外検出に優れているか?
• Authors: Christian Henning, Francesco D'Angelo, Benjamin F. Grewe
• Abstract要約: ベイズニューラルネットワーク(BNN)は分布外検出(OOD)に適していると広く推測されている。 本稿では,一般的なニューラルネットワークアーキテクチャに対する適切なベイズ推定が必ずしも優れたOOD検出に繋がるとは限らないという実証的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The need to avoid confident predictions on unfamiliar data has sparked interest in out-of-distribution (OOD) detection. It is widely assumed that Bayesian neural networks (BNN) are well suited for this task, as the endowed epistemic uncertainty should lead to disagreement in predictions on outliers. In this paper, we question this assumption and provide empirical evidence that proper Bayesian inference with common neural network architectures does not necessarily lead to good OOD detection. To circumvent the use of approximate inference, we start by studying the infinite-width case, where Bayesian inference can be exact considering the corresponding Gaussian process. Strikingly, the kernels induced under common architectural choices lead to uncertainties that do not reflect the underlying data generating process and are therefore unsuited for OOD detection. Finally, we study finite-width networks using HMC, and observe OOD behavior that is consistent with the infinite-width case. Overall, our study discloses fundamental problems when naively using BNNs for OOD detection and opens interesting avenues for future research.
• Abstract（参考訳）: 不慣れなデータに対する確実な予測を避ける必要性が、アウト・オブ・ディストリビューション(OOD)検出への関心を喚起した。 ベイズニューラルネットワーク(BNN)はこの課題によく適していると広く考えられている。 本稿では、この仮定に疑問を呈し、一般的なニューラルネットワークアーキテクチャによるベイズ推定が必ずしも優れたOOD検出に繋がらないという実証的な証拠を提供する。 近似推論の使用を回避するために、ベイズ推論が対応するガウス過程を正確に考慮し得る無限幅の場合を研究することから始める。 興味深いことに、共通のアーキテクチャ選択の下で誘導されるカーネルは、基盤となるデータ生成プロセスを反映せず、従ってOOD検出には適さない不確実性をもたらす。 最後に,HMCを用いた有限幅ネットワークについて検討し,無限幅の場合と一致するOODの挙動を観察する。 本研究は,OOD検出にBNNを用いた場合の基本的問題点を明らかにし,今後の研究に興味深い道を開く。

関連論文リスト

• Be Bayesian by Attachments to Catch More Uncertainty [27.047781689062944]
  本稿では,アタッチド構造を持つ新しいベイズニューラルネットワークを提案し,アウト・オブ・ディストリビューション(OOD)データからより不確実性を求める。 ABNNは期待モジュールといくつかの配布モジュールで構成されている。
  論文  参考訳（メタデータ） (2023-10-19T07:28:39Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Out of Distribution Data Detection Using Dropout Bayesian Neural Networks [29.84998820573774]
  まず, ドロップアウトBNNの中間層によって誘導されるランダム化埋め込みを利用する試みが, 距離測定によって失敗することを示す。 組込み不確実性を測定するための代替手法を導入し、その使用を理論的に正当化し、組込み不確実性を導入することで、画像分類、言語分類、マルウェア検出の3つのタスクにおけるOODデータ識別が向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T02:23:43Z)
• Uncertainty-based out-of-distribution detection requires suitable function space priors [1.90365714903665]
  ニューラルネットワークによって誘導される関数空間前の適切なベイズ推定は、必ずしも優れたOOD検出に繋がらないことを示す。 所望の関数空間特性は、重み空間において事前に符号化することができるが、これは現在、領域の特定の部分集合にのみ適用される。
  論文  参考訳（メタデータ） (2021-10-12T14:11:37Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks [26.0303701309125]
  本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。 このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。 本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
  論文  参考訳（メタデータ） (2021-02-25T16:14:47Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。 入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。 本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
  論文  参考訳（メタデータ） (2020-08-21T09:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。