論文の概要: Statistically Significant $k$NNAD by Selective Inference

• arxiv url: http://arxiv.org/abs/2502.12978v1
• Date: Tue, 18 Feb 2025 15:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:27.521906
• Title: Statistically Significant $k$NNAD by Selective Inference
• Title（参考訳）: 選択推論による統計的に重要な$k$NNAD
• Authors: Mizuki Niihori, Teruyuki Katsuoka, Tomohiro Shiraishi, Shuichi Nishino, Ichiro Takeuchi,
• Abstract要約: kNNADを含む異常検出における重要な課題は、検出された異常の信頼性を適切に定量化することである。 統計的仮説テストとしてkNNADを定式化し、$p$-valuesを用いて偽検出の確率を定量化する。 SIを利用することで、Stat-kNNAD法は検出された異常が理論的保証とともに統計的に有意であることを保証する。
• 参考スコア（独自算出の注目度）: 12.703556860454565
• License:
• Abstract: In this paper, we investigate the problem of unsupervised anomaly detection using the k-Nearest Neighbor method. The k-Nearest Neighbor Anomaly Detection (kNNAD) is a simple yet effective approach for identifying anomalies across various domains and fields. A critical challenge in anomaly detection, including kNNAD, is appropriately quantifying the reliability of detected anomalies. To address this, we formulate kNNAD as a statistical hypothesis test and quantify the probability of false detection using $p$-values. The main technical challenge lies in performing both anomaly detection and statistical testing on the same data, which hinders correct $p$-value calculation within the conventional statistical testing framework. To resolve this issue, we introduce a statistical hypothesis testing framework called Selective Inference (SI) and propose a method named Statistically Significant NNAD (Stat-kNNAD). By leveraging SI, the Stat-kNNAD method ensures that detected anomalies are statistically significant with theoretical guarantees. The proposed Stat-kNNAD method is applicable to anomaly detection in both the original feature space and latent feature spaces derived from deep learning models. Through numerical experiments on synthetic data and applications to industrial product anomaly detection, we demonstrate the validity and effectiveness of the Stat-kNNAD method.
• Abstract（参考訳）: 本稿では,k-Nearest Neighbor法による教師なし異常検出の問題点について検討する。 k-Nearest Nebor Anomaly Detection (kNNAD)は、様々な領域や分野にまたがる異常を識別する単純な方法である。 kNNADを含む異常検出における重要な課題は、検出された異常の信頼性を適切に定量化することである。 これを解決するために、kNNADを統計的仮説テストとして定式化し、$p$-valuesを用いて偽検出の確率を定量化する。 主な技術的課題は、同じデータ上で異常検出と統計的テストの両方を実行することであり、これは従来の統計的テストフレームワークにおける正しい$p$-valueの計算を妨げる。 この問題を解決するために,Selective Inference (SI) と呼ばれる統計的仮説テストフレームワークを導入し,統計的に有意なNNAD (Stat-kNNAD) という手法を提案する。 SIを利用することで、Stat-kNNAD法は検出された異常が理論的保証とともに統計的に有意であることを保証する。 提案したStat-kNNAD法は,深層学習モデルから得られた特徴空間と潜在特徴空間の両方における異常検出に適用できる。 工業製品異常検出への合成データおよび応用に関する数値実験を通じて, Stat-kNNAD法の有効性と有効性を示す。

関連論文リスト

• Unsupervised Anomaly Detection Using Diffusion Trend Analysis [48.19821513256158]
  本稿では, 劣化度に応じて, 復元傾向の分析により異常を検出する手法を提案する。 提案手法は,産業用異常検出のためのオープンデータセット上で検証される。
  論文  参考訳（メタデータ） (2024-07-12T01:50:07Z)
• Uncertainty Quantification in Anomaly Detection with Cross-Conformal $p$-Values [0.0]
  本研究は, 異形間異常検出という, 異常検出のための新しい枠組みを導入する。 本研究では,不確実な量子化異常検出のための統計効率(完全整形)と計算効率(完全整形)の両立を両立させる方法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T08:22:40Z)
• Statistical Test on Diffusion Model-based Anomaly Detection by Selective Inference [19.927066428010782]
  拡散モデルを用いて医療画像中の異常領域を検出する課題に対処する。 本稿では,検出された異常の信頼性を定量化する統計的手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T02:32:45Z)
• Statistical Test for Anomaly Detections by Variational Auto-Encoders [19.927066428010782]
  変分オートエンコーダ(VAE)を用いた異常検出の信頼性評価について検討する。 VAE-ADテストを用いて、VAEによって検出された異常領域の信頼性をp値の形で定量することができる。
  論文  参考訳（メタデータ） (2024-02-06T05:42:27Z)
• Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
  通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。 理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。 本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-10-12T06:46:38Z)
• Null Hypothesis Test for Anomaly Detection [0.0]
  我々は、背景のみの仮説を除外した仮説テストを用いて、異常検出のための分類不要ラベルの使用を拡張した。 2つの識別されたデータセット領域の統計的独立性をテストすることで、固定された異常スコアのカットや、各領域間の背景推定の外挿に頼ることなく、背景のみの仮説を除外することができる。
  論文  参考訳（メタデータ） (2022-10-05T13:03:55Z)
• Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection [90.32910087103744]
  ラベル付き異常な例は、多くの現実世界のアプリケーションでよく見られる。 これらの異常例は、アプリケーション固有の異常について貴重な知識を提供する。 トレーニング中に見られる異常は、可能なあらゆる種類の異常を説明できないことが多い。 本稿では,オープンセット型教師付き異常検出に取り組む。
  論文  参考訳（メタデータ） (2022-03-28T05:21:37Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Understanding the Effect of Bias in Deep Anomaly Detection [15.83398707988473]
  異常検出はラベル付き異常データの不足のため、機械学習においてユニークな課題となる。 最近の研究は、追加のラベル付き異常サンプルによる深部異常検出モデルのトレーニングを増強することで、このような問題を緩和しようとするものである。 本稿では,異常検出に対するバイアス付き異常集合の効果を理解することを目的とする。
  論文  参考訳（メタデータ） (2021-05-16T03:55:02Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• Density of States Estimation for Out-of-Distribution Detection [69.90130863160384]
  DoSEは状態推定器の密度である。 我々は、他の教師なしOOD検出器に対するDoSEの最先端性能を実証する。
  論文  参考訳（メタデータ） (2020-06-16T16:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。