論文の概要: Window-Based Distribution Shift Detection for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2210.10897v3
- Date: Thu, 8 Jun 2023 14:47:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 20:19:51.444656
- Title: Window-Based Distribution Shift Detection for Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークにおけるウィンドウベース分布シフト検出
- Authors: Guy Bar-Shalom, Yonatan Geifman, Ran El-Yaniv
- Abstract要約: 本研究では,データストリームを受信したディープニューラルネットワーク(DNN)の正常動作をモニタリングする場合について検討する。
選択的予測原理を用いて,DNNの分布偏差検出手法を提案する。
我々の新しい検出法は、最先端技術よりもかなり少ない時間を消費しながら、オンパー以上の性能を発揮する。
- 参考スコア（独自算出の注目度）: 21.73028341299301
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To deploy and operate deep neural models in production, the quality of their
predictions, which might be contaminated benignly or manipulated maliciously by
input distributional deviations, must be monitored and assessed. Specifically,
we study the case of monitoring the healthy operation of a deep neural network
(DNN) receiving a stream of data, with the aim of detecting input
distributional deviations over which the quality of the network's predictions
is potentially damaged. Using selective prediction principles, we propose a
distribution deviation detection method for DNNs. The proposed method is
derived from a tight coverage generalization bound computed over a sample of
instances drawn from the true underlying distribution. Based on this bound, our
detector continuously monitors the operation of the network out-of-sample over
a test window and fires off an alarm whenever a deviation is detected. Our
novel detection method performs on-par or better than the state-of-the-art,
while consuming substantially lower computation time (five orders of magnitude
reduction) and space complexities. Unlike previous methods, which require at
least linear dependence on the size of the source distribution for each
detection, rendering them inapplicable to ``Google-Scale'' datasets, our
approach eliminates this dependence, making it suitable for real-world
applications.
- Abstract（参考訳）: 深層神経モデルの本番環境での展開と運用には, 良性的に汚染されたり, 入力分布偏差によって悪質に操作されたりする予測の品質を監視・評価する必要がある。
具体的には,データストリームを受信するディープニューラルネットワーク(DNN)の健全な動作をモニタリングする場合について,ネットワークの予測の質が損なわれる可能性のある入力分布のずれを検出することを目的とした。
選択的予測原理を用いて,DNNの分布偏差検出手法を提案する。
提案手法は,真の基礎分布から引き出されたインスタンスのサンプル上で計算された厳密なカバレッジ一般化から導出される。
このバウンドに基づき、本検出器はテストウィンドウ上でネットワークの外部の動作を継続的に監視し、偏差が検出されるとアラームを発射する。
提案手法は, 計算時間(最大5桁)と空間の複雑さを著しく低減しつつ, 最先端技術よりも高い精度で処理を行う。
検出毎にソース分布のサイズに少なくとも線形依存を必要とする従来の方法とは異なり、Google-Scale'データセットに適用できない方法では、この依存を排除し、現実世界のアプリケーションに適している。
関連論文リスト
- Projection Regret: Reducing Background Bias for Novelty Detection via
Diffusion Models [72.07462371883501]
本研究では,非意味情報のバイアスを緩和する効率的な新規性検出手法であるemphProjection Regret(PR)を提案する。
PRは、テスト画像とその拡散ベースの投影の間の知覚距離を計算し、異常を検出する。
拡張実験により、PRは生成モデルに基づく新規性検出手法の先行技術よりも有意なマージンで優れていることが示された。
論文 参考訳（メタデータ） (2023-12-05T09:44:47Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - iDECODe: In-distribution Equivariance for Conformal Out-of-distribution
Detection [24.518698391381204]
ディープニューラルネットワーク(DNN)のような機械学習手法は、しばしば信頼性の高い誤った予測を生成する。
そこで我々は,共形OOD検出に分配同値を用いたiDECODeを提案する。
画像と音声のデータセットを用いた実験により,iDECODeの有効性を実証し,その結果を得た。
論文 参考訳（メタデータ） (2022-01-07T05:21:40Z) - Out-of-Distribution Example Detection in Deep Neural Networks using
Distance to Modelled Embedding [0.0]
予測時間における分布外例の検出に使用するDIME(Distance to Modelled Embedding)を提案する。
線形超平面として特徴空間に埋め込まれたトレーニングセットを近似することにより、単純で教師なし、高性能で計算効率の良い手法を導出する。
論文 参考訳（メタデータ） (2021-08-24T12:28:04Z) - Out-of-Distribution Detection using Outlier Detection Methods [0.0]
アウト・オブ・ディストリビューション検出(OOD)は、ニューラルネットワークへの異常な入力を扱う。
我々は,OOD分野の特殊手法と同じくらい信頼性の高い異常な入力を検出するために,異常検出アルゴリズムを用いる。
ニューラルネットワークの適応は不要で、検出はモデルのソフトマックススコアに基づいて行われる。
論文 参考訳（メタデータ） (2021-08-18T16:05:53Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z) - Statistical Testing for Efficient Out of Distribution Detection in Deep
Neural Networks [26.0303701309125]
本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。
このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。
本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
論文 参考訳（メタデータ） (2021-02-25T16:14:47Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Cross-Validation and Uncertainty Determination for Randomized Neural
Networks with Applications to Mobile Sensors [0.0]
極端学習マシンは、限られたコンピュータリソースとグリーン機械学習の下で教師付き学習を行うための魅力的で効率的な方法を提供する。
このようなネットワークと回帰手法による教師あり学習について,一般化と予測誤差の整合性および境界性の観点から考察した。
論文 参考訳（メタデータ） (2021-01-06T12:28:06Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。