論文の概要: Uncertainty-based out-of-distribution detection requires suitable function space priors

• arxiv url: http://arxiv.org/abs/2110.06020v1
• Date: Tue, 12 Oct 2021 14:11:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 12:15:53.040766
• Title: Uncertainty-based out-of-distribution detection requires suitable function space priors
• Title（参考訳）: 不確実性に基づく分布外検出には適切な関数空間の優先順位を必要とする
• Authors: Francesco D'Angelo and Christian Henning
• Abstract要約: ニューラルネットワークによって誘導される関数空間前の適切なベイズ推定は、必ずしも優れたOOD検出に繋がらないことを示す。 所望の関数空間特性は、重み空間において事前に符号化することができるが、これは現在、領域の特定の部分集合にのみ適用される。
• 参考スコア（独自算出の注目度）: 1.90365714903665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The need to avoid confident predictions on unfamiliar data has sparked interest in out-of-distribution (OOD) detection. It is widely assumed that Bayesian neural networks (BNNs) are well suited for this task, as the endowed epistemic uncertainty should lead to disagreement in predictions on outliers. In this paper, we question this assumption and show that proper Bayesian inference with function space priors induced by neural networks does not necessarily lead to good OOD detection. To circumvent the use of approximate inference, we start by studying the infinite-width case, where Bayesian inference can be exact due to the correspondence with Gaussian processes. Strikingly, the kernels induced under common architectural choices lead to uncertainties that do not reflect the underlying data generating process and are therefore unsuited for OOD detection. Importantly, we find this OOD behavior to be consistent with the corresponding finite-width networks. Desirable function space properties can be encoded in the prior in weight space, however, this currently only applies to a specified subset of the domain and thus does not inherently extend to OOD data. Finally, we argue that a trade-off between generalization and OOD capabilities might render the application of BNNs for OOD detection undesirable in practice. Overall, our study discloses fundamental problems when naively using BNNs for OOD detection and opens interesting avenues for future research.
• Abstract（参考訳）: 不慣れなデータに対する確実な予測を避ける必要性が、アウト・オブ・ディストリビューション(OOD)検出への関心を喚起した。 ベイズニューラルネットワーク(BNN)はこの課題に適していると広く考えられている。 本稿では,この仮定に疑問を呈し,ニューラルネットワークによって引き起こされる関数空間優先性を持つ固有ベイズ推定が必ずしも良いood検出につながるとは限らないことを示す。 近似推論の使用を回避するために、ベイズ推論がガウス過程との対応により正確である無限幅の場合を研究することから始める。 興味深いことに、共通のアーキテクチャ選択の下で誘導されるカーネルは、基盤となるデータ生成プロセスを反映せず、従ってOOD検出には適さない不確実性をもたらす。 重要なことに、このOODの挙動は対応する有限幅ネットワークと一致している。 所望の関数空間特性は事前の重み空間にエンコードできるが、現在はドメインの特定のサブセットにのみ適用されるため、本質的にはoodデータには拡張されない。 最後に、一般化とOOD能力のトレードオフが、実際には望ましくないOOD検出のためのBNNの適用をもたらす可能性があると論じる。 本研究は,OOD検出にBNNを用いた場合の基本的問題点を明らかにし,今後の研究に興味深い道を開く。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Are Bayesian neural networks intrinsically good at out-of-distribution detection? [4.297070083645049]
  ベイズニューラルネットワーク(BNN)は分布外検出(OOD)に適していると広く推測されている。 本稿では,一般的なニューラルネットワークアーキテクチャに対する適切なベイズ推定が必ずしも優れたOOD検出に繋がるとは限らないという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-26T14:53:14Z)
• Understanding Failures in Out-of-Distribution Detection with Deep Generative Models [22.11487118547924]
  アウト・ディストリビューションが関係する仮定なしでは、ランダムな確率を超える性能を保証する方法が存在しないことを実証する。 イン・ディストリビューションとアウト・ディストリビューションのオーバーラップを想定した上で,その影響を強調した。 以上の結果から, 推定誤差は, 可能性に基づくOOD検出と利害分布の相違よりも, より妥当な説明であることが示唆された。
  論文  参考訳（メタデータ） (2021-07-14T18:00:11Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks [26.0303701309125]
  本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。 このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。 本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
  論文  参考訳（メタデータ） (2021-02-25T16:14:47Z)
• A statistical theory of out-of-distribution detection [26.928175726673615]
  本稿では,データキュレーションへの接続を利用して分布外データを検出するための原則的手法を提案する。 データキュレーションでは、データセットから曖昧または分類が難しい入力ポイントを除外し、これらの除外ポイントは定義OODです。 したがって、データキュレーションの原理的生成モデルを用いて、OOD点の確率を得ることができる。
  論文  参考訳（メタデータ） (2021-02-24T12:35:43Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Out-of-Distribution Detection for Automotive Perception [58.34808836642603]
  ニューラルネットワーク(NN)は、自律運転におけるオブジェクト分類に広く使われている。 NNは、アウト・オブ・ディストリビューション(OOD)データとして知られるトレーニングデータセットで適切に表現されていない入力データでフェールすることができる。 本稿では,OODデータを必要としない入力がOODであるか否かを判定し,推論の計算コストを増大させる方法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T01:46:35Z)
• Certifiably Adversarially Robust Detection of Out-of-Distribution Data [111.67388500330273]
  我々は,OOD点における信頼度を低くすることで,OOD検出の証明可能な最悪のケースを保証することを目的としている。 トレーニング時に見られるOODデータセットを超えて一般化されたOODデータの信頼性の非自明な境界が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-16T17:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。