論文の概要: Out-of-Distribution Example Detection in Deep Neural Networks using
Distance to Modelled Embedding
- arxiv url: http://arxiv.org/abs/2108.10673v1
- Date: Tue, 24 Aug 2021 12:28:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-25 17:06:24.494249
- Title: Out-of-Distribution Example Detection in Deep Neural Networks using
Distance to Modelled Embedding
- Title（参考訳）: モデル埋め込み距離を用いたディープニューラルネットワークの分布外例検出
- Authors: Rickard Sj\"ogren and Johan Trygg
- Abstract要約: 予測時間における分布外例の検出に使用するDIME(Distance to Modelled Embedding)を提案する。
線形超平面として特徴空間に埋め込まれたトレーニングセットを近似することにより、単純で教師なし、高性能で計算効率の良い手法を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adoption of deep learning in safety-critical systems raise the need for
understanding what deep neural networks do not understand after models have
been deployed. The behaviour of deep neural networks is undefined for so called
out-of-distribution examples. That is, examples from another distribution than
the training set. Several methodologies to detect out-of-distribution examples
during prediction-time have been proposed, but these methodologies constrain
either neural network architecture, how the neural network is trained, suffer
from performance overhead, or assume that the nature of out-of-distribution
examples are known a priori. We present Distance to Modelled Embedding (DIME)
that we use to detect out-of-distribution examples during prediction time. By
approximating the training set embedding into feature space as a linear
hyperplane, we derive a simple, unsupervised, highly performant and
computationally efficient method. DIME allows us to add prediction-time
detection of out-of-distribution examples to neural network models without
altering architecture or training while imposing minimal constraints on when it
is applicable. In our experiments, we demonstrate that by using DIME as an
add-on after training, we efficiently detect out-of-distribution examples
during prediction and match state-of-the-art methods while being more versatile
and introducing negligible computational overhead.
- Abstract（参考訳）: 安全クリティカルなシステムにおけるディープラーニングの採用は、モデルがデプロイされた後、ディープニューラルネットワークが理解できないことを理解する必要性を高める。
ディープニューラルネットワークの振る舞いは、いわゆるアウト・オブ・ディストリビューションの例では定義されていない。
つまり、トレーニングセット以外のディストリビューションからの例です。
予測時間中に分布外サンプルを検出する手法がいくつか提案されているが、これらの手法はニューラルネットワークアーキテクチャ、ニューラルネットワークのトレーニング方法、パフォーマンス上のオーバーヘッド、あるいは分布外サンプルの性質が事前に分かっていると仮定するのいずれかを制約している。
予測時間における分布外例の検出に使用するDIME(Distance to Modelled Embedding)を提案する。
線形超平面として特徴空間に埋め込まれたトレーニングセットを近似することにより、単純で教師なし、高性能で計算効率の良い手法を導出する。
DIMEにより、アーキテクチャやトレーニングを変更することなく、ニューラルネットワークモデルに配布外サンプルの予測時間検出を追加できます。
実験では,DIMEをアドオンとして使用することにより,予測中の分布外例を効率よく検出し,より汎用性が高く,計算オーバーヘッドも無視できることを示した。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Window-Based Distribution Shift Detection for Deep Neural Networks [21.73028341299301]
本研究では,データストリームを受信したディープニューラルネットワーク(DNN)の正常動作をモニタリングする場合について検討する。
選択的予測原理を用いて,DNNの分布偏差検出手法を提案する。
我々の新しい検出法は、最先端技術よりもかなり少ない時間を消費しながら、オンパー以上の性能を発揮する。
論文 参考訳（メタデータ） (2022-10-19T21:27:25Z) - A Novel Explainable Out-of-Distribution Detection Approach for Spiking
Neural Networks [6.100274095771616]
この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。
我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。
入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
論文 参考訳（メタデータ） (2022-09-30T11:16:35Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Model2Detector:Widening the Information Bottleneck for
Out-of-Distribution Detection using a Handful of Gradient Steps [12.263417500077383]
アウト・オブ・ディストリビューション検出は、長いバニラニューラルネットワークを持つ重要な機能である。
推論時間外分布検出の最近の進歩は、これらの問題のいくつかを緩和するのに役立つ。
提案手法は,一般的な画像データセットにおける検出精度において,常に最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-22T23:03:40Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Uncertainty-Aware Deep Classifiers using Generative Models [7.486679152591502]
ディープニューラルネットワークは、しばしば、彼らが知らないことについて無知であり、インフォームド予測を行うときに過信する。
最近のアプローチでは、クラス境界に近いデータサンプルやトレーニング分布の外側から、モデルに高い不確実性を出力するようにトレーニングすることで、不確実性を直接定量化している。
本研究では,アレータ性およびてんかん性不確実性の両方を表現し,決定境界と分布外領域を識別できる新しいニューラルネットワークモデルを構築した。
論文 参考訳（メタデータ） (2020-06-07T15:38:35Z) - Detecting Adversarial Examples in Learning-Enabled Cyber-Physical
Systems using Variational Autoencoder for Regression [4.788163807490198]
ディープニューラルネットワーク(DNN)は堅牢ではなく、敵対的な例によってモデルが誤った予測をする可能性があることが示されている。
本稿では,CPS の回帰に使用される LEC の逆例を効率よく検出する問題について考察する。
自動運転車用オープンソースシミュレータに実装された緊急ブレーキシステムを用いて,その手法を実証する。
論文 参考訳（メタデータ） (2020-03-21T11:15:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。