論文の概要: Model2Detector:Widening the Information Bottleneck for
Out-of-Distribution Detection using a Handful of Gradient Steps
- arxiv url: http://arxiv.org/abs/2202.11226v1
- Date: Tue, 22 Feb 2022 23:03:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-24 14:28:10.155648
- Title: Model2Detector:Widening the Information Bottleneck for
Out-of-Distribution Detection using a Handful of Gradient Steps
- Title（参考訳）: model2detector:一握りの勾配ステップを用いた分散検出のための情報ボトルネックの拡大
- Authors: Sumedh A Sontakke, Buvaneswari Ramanan, Laurent Itti, Thomas Woo
- Abstract要約: アウト・オブ・ディストリビューション検出は、長いバニラニューラルネットワークを持つ重要な機能である。
推論時間外分布検出の最近の進歩は、これらの問題のいくつかを緩和するのに役立つ。
提案手法は,一般的な画像データセットにおける検出精度において,常に最先端の手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 12.263417500077383
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Out-of-distribution detection is an important capability that has long eluded
vanilla neural networks. Deep Neural networks (DNNs) tend to generate
over-confident predictions when presented with inputs that are significantly
out-of-distribution (OOD). This can be dangerous when employing machine
learning systems in the wild as detecting attacks can thus be difficult. Recent
advances inference-time out-of-distribution detection help mitigate some of
these problems. However, existing methods can be restrictive as they are often
computationally expensive. Additionally, these methods require training of a
downstream detector model which learns to detect OOD inputs from
in-distribution ones. This, therefore, adds latency during inference. Here, we
offer an information theoretic perspective on why neural networks are
inherently incapable of OOD detection. We attempt to mitigate these flaws by
converting a trained model into a an OOD detector using a handful of steps of
gradient descent. Our work can be employed as a post-processing method whereby
an inference-time ML system can convert a trained model into an OOD detector.
Experimentally, we show how our method consistently outperforms the
state-of-the-art in detection accuracy on popular image datasets while also
reducing computational complexity.
- Abstract（参考訳）: 分散検出は、バニラニューラルネットワークを長い間解明した重要な機能である。
ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)の入力を提示すると、過信予測を生成する傾向がある。
これは、攻撃を検出することが難しいため、野生の機械学習システムを使用する場合、危険になる可能性がある。
近年のアウト・オブ・ディストリビューション検出の進歩はこれらの問題を軽減している。
しかし、既存の手法はしばしば計算コストがかかるため、制限を受けることができる。
さらに、これらの手法は、分布内からOOD入力を検出することを学習する下流検出器モデルの訓練を必要とする。
したがって、推論中に遅延を追加する。
ここでは、ニューラルネットワークがOOD検出に本質的にできない理由について、情報理論的な視点を提供する。
我々は、これらの欠陥を軽減するために、数ステップの勾配降下を用いて訓練されたモデルをOOD検出器に変換する。
我々の研究は後処理の手法として利用でき、推論時MLシステムは訓練されたモデルをOOD検出器に変換することができる。
実験により,本手法が一般的な画像データセットにおける最先端検出精度を一貫して上回り,計算複雑性を低減させることを示す。
関連論文リスト
- Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。
現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。
これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。
我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
論文 参考訳（メタデータ） (2023-02-21T21:31:20Z) - Window-Based Distribution Shift Detection for Deep Neural Networks [21.73028341299301]
本研究では,データストリームを受信したディープニューラルネットワーク(DNN)の正常動作をモニタリングする場合について検討する。
選択的予測原理を用いて,DNNの分布偏差検出手法を提案する。
我々の新しい検出法は、最先端技術よりもかなり少ない時間を消費しながら、オンパー以上の性能を発揮する。
論文 参考訳（メタデータ） (2022-10-19T21:27:25Z) - Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
自律運転システムには2つの主要なアルゴリズムアプローチがある。
ディープラーニングだけでは、多くの分野で最先端の結果が得られています。
しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
論文 参考訳（メタデータ） (2022-03-28T20:29:50Z) - Out-of-Distribution Example Detection in Deep Neural Networks using
Distance to Modelled Embedding [0.0]
予測時間における分布外例の検出に使用するDIME(Distance to Modelled Embedding)を提案する。
線形超平面として特徴空間に埋め込まれたトレーニングセットを近似することにより、単純で教師なし、高性能で計算効率の良い手法を導出する。
論文 参考訳（メタデータ） (2021-08-24T12:28:04Z) - Out-of-Distribution Detection using Outlier Detection Methods [0.0]
アウト・オブ・ディストリビューション検出(OOD)は、ニューラルネットワークへの異常な入力を扱う。
我々は,OOD分野の特殊手法と同じくらい信頼性の高い異常な入力を検出するために,異常検出アルゴリズムを用いる。
ニューラルネットワークの適応は不要で、検出はモデルのソフトマックススコアに基づいて行われる。
論文 参考訳（メタデータ） (2021-08-18T16:05:53Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - A Novel Anomaly Detection Algorithm for Hybrid Production Systems based
on Deep Learning and Timed Automata [73.38551379469533]
DAD:DeepAnomalyDetectionは,ハイブリッド生産システムにおける自動モデル学習と異常検出のための新しいアプローチである。
深層学習とタイムドオートマトンを組み合わせて、観察から行動モデルを作成する。
このアルゴリズムは実システムからの2つのデータを含む少数のデータセットに適用され、有望な結果を示している。
論文 参考訳（メタデータ） (2020-10-29T08:27:43Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳（メタデータ） (2020-06-10T04:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。