論文の概要: Single Layer Predictive Normalized Maximum Likelihood for Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2110.09246v1
• Date: Mon, 18 Oct 2021 12:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 23:12:15.145313
• Title: Single Layer Predictive Normalized Maximum Likelihood for Out-of-Distribution Detection
• Title（参考訳）: 分散検出のための単層予測正規化最大確率
• Authors: Koby Bibas, Meir Feder, Tal Hassner
• Abstract要約: OOD検出の一般的なアプローチは、実際のシナリオでは利用できないかもしれないトレーニング中のサンプルへのアクセスを前提としている。 単一層ニューラルネットワーク(NN)におけるpNMLの明示的表現と,その一般化誤差をエム後悔と表現する。 この学習者は, (i) テストベクトルがトレーニングデータの経験的相関行列の大きな固有値に関連付けられた固有ベクトルにまたがる部分空間に存在する場合, (ii) テストサンプルが決定境界から遠く離れている場合, テストベクトルが適切に一般化されることを示す。
• 参考スコア（独自算出の注目度）: 26.705676702699172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting out-of-distribution (OOD) samples is vital for developing machine learning based models for critical safety systems. Common approaches for OOD detection assume access to some OOD samples during training which may not be available in a real-life scenario. Instead, we utilize the {\em predictive normalized maximum likelihood} (pNML) learner, in which no assumptions are made on the tested input. We derive an explicit expression of the pNML and its generalization error, denoted as the {\em regret}, for a single layer neural network (NN). We show that this learner generalizes well when (i) the test vector resides in a subspace spanned by the eigenvectors associated with the large eigenvalues of the empirical correlation matrix of the training data, or (ii) the test sample is far from the decision boundary. Furthermore, we describe how to efficiently apply the derived pNML regret to any pretrained deep NN, by employing the explicit pNML for the last layer, followed by the softmax function. Applying the derived regret to deep NN requires neither additional tunable parameters nor extra data. We extensively evaluate our approach on 74 OOD detection benchmarks using DenseNet-100, ResNet-34, and WideResNet-40 models trained with CIFAR-100, CIFAR-10, SVHN, and ImageNet-30 showing a significant improvement of up to 15.6\% over recent leading methods.
• Abstract（参考訳）: out-of-distribution (ood) サンプルの検出は、重要な安全システムのための機械学習ベースのモデルの開発に不可欠である。 OOD検出の一般的なアプローチは、実際のシナリオでは利用できないトレーニング中のOODサンプルへのアクセスを前提としている。 代わりに、テストされた入力に対して仮定を行わない {\em predict normalized maximum likelihood} (pnml) 学習者を利用する。 我々は,単層ニューラルネットワーク(NN)に対するpNMLの明示的な表現とその一般化誤差を導出する。 この学習者が一般化することを示す。 (i)試験ベクトルは、訓練データの経験的相関行列の大きな固有値に関連付けられた固有ベクトルにまたがる部分空間に存在するか。 (ii) テストサンプルは決定境界から遠く離れている。 さらに,前層に明示的なpNMLを用い,続いてソフトマックス関数を用いて,抽出したpNML後悔を事前訓練したディープNNに適用する方法を述べる。 deep nnに派生した後悔を適用するには、追加の調整可能なパラメータや余分なデータを必要としない。 CIFAR-100, CIFAR-10, SVHN, ImageNet-30 でトレーニングした DenseNet-100, ResNet-34, WideResNet-40 モデルを用いた74 OOD 検出ベンチマークのアプローチを広範に評価した。

関連論文リスト

• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• Out-of-Distribution Detection using Neural Activation Prior [15.673290330356194]
  アウト・オブ・ディストリビューション検出(OOD)は、機械学習モデルを現実世界にデプロイする上で重要な技術である。 OOD検出のためのシンプルで効果的なニューラルアクティベーションプリミティブ(NAP)を提案する。 提案手法は,CIFARベンチマークとImageNetデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-28T08:45:07Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Rapid Risk Minimization with Bayesian Models Through Deep Learning Approximation [9.93116974480156]
  本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。 私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。 テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
  論文  参考訳（メタデータ） (2021-03-29T15:08:25Z)
• Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
  我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。 emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。 提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:04:44Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。