論文の概要: The Clever Hans Effect in Anomaly Detection

• arxiv url: http://arxiv.org/abs/2006.10609v1
• Date: Thu, 18 Jun 2020 15:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 09:40:54.924340
• Title: The Clever Hans Effect in Anomaly Detection
• Title（参考訳）: 異常検出における賢いハンス効果
• Authors: Jacob Kauffmann, Lukas Ruff, Gr\'egoire Montavon, Klaus-Robert M\"uller
• Abstract要約: クリーバーハンズ効果は、学習したモデルが「間違った」特徴に基づいて正しい予測を生成するときに起こる。 本稿では、一般的な異常検出モデルで使用される関連する特徴を強調できる、説明可能なAI(XAI)手順を提案する。
• 参考スコア（独自算出の注目度）: 3.278983768346415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The 'Clever Hans' effect occurs when the learned model produces correct predictions based on the 'wrong' features. This effect which undermines the generalization capability of an ML model and goes undetected by standard validation techniques has been frequently observed for supervised learning where the training algorithm leverages spurious correlations in the data. The question whether Clever Hans also occurs in unsupervised learning, and in which form, has received so far almost no attention. Therefore, this paper will contribute an explainable AI (XAI) procedure that can highlight the relevant features used by popular anomaly detection models of different type. Our analysis reveals that the Clever Hans effect is widespread in anomaly detection and occurs in many (unexpected) forms. Interestingly, the observed Clever Hans effects are in this case not so much due to the data, but due to the anomaly detection models themselves whose structure makes them unable to detect the truly relevant features, even though vast amounts of data points are available. Overall, our work contributes a warning against an unrestrained use of existing anomaly detection models in practical applications, but it also points at a possible way out of the Clever Hans dilemma, specifically, by allowing multiple anomaly models to mutually cancel their individual structural weaknesses to jointly produce a better and more trustworthy anomaly detector.
• Abstract（参考訳）: クリーバーハンズ効果は、学習したモデルが「間違った」特徴に基づいて正しい予測を生成するときに起こる。 mlモデルの一般化能力を弱め、標準検証技術によって検出されないこの効果は、トレーニングアルゴリズムがデータのスプリアス相関を利用する教師あり学習において頻繁に観測されている。 賢いハンスが教師なしの学習でも起こるのかという疑問は、今のところほとんど注目されていない。 そこで本稿では,異なるタイプの一般的な異常検出モデルで使用される関連する特徴を強調できる,説明可能なAI(XAI)手法を提案する。 解析の結果,Clever Hans効果は異常検出に広く,多くの(予期せぬ)形態で発生することが明らかとなった。 興味深いことに、観察された巧妙なハンス効果は、この場合、データのためではなく、大量のデータポイントが利用できるにもかかわらず、真に関連する特徴を検出できない構造を持つ異常検出モデル自体のためである。 全体として、本研究は、既存の異常検出モデルの実用用途における未制限使用に対する警告であるが、特に、複数の異常モデルが相互に個々の構造的弱点をキャンセルし、より良い信頼性のある異常検出を共同で作成できるようにすることによって、Clever Hansジレンマから抜け出す可能性も指摘している。

関連論文リスト

• Can I trust my anomaly detection system? A case study based on explainable AI [0.4416503115535552]
  本稿では,変分自己エンコーダ生成モデルに基づく異常検出システムのロバスト性について検討する。 目標は、再構成の違いを利用する異常検知器の実際の性能について、異なる視点を得ることです。
  論文  参考訳（メタデータ） (2024-07-29T12:39:07Z)
• Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies [14.399035468023161]
  教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、合成データと実データを用いて、様々なアプリケーションに対してモデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Towards a Unified Framework of Clustering-based Anomaly Detection [18.30208347233284]
  非教師付き異常検出(UAD)は、ラベル付き例なしでデータ内の異常パターンを識別する上で重要な役割を果たす。 本稿では, 表現学習, クラスタリング, 異常検出の理論的関係を確立するために, 異常検出のための新しい確率混合モデルを提案する。 我々は,表現学習とクラスタリングの併用力を効果的に活用する,改良された異常スコアを考案した。
  論文  参考訳（メタデータ） (2024-06-01T14:30:12Z)
• Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
  我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。 次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。 我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-30T06:00:13Z)
• Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection [90.32910087103744]
  ラベル付き異常な例は、多くの現実世界のアプリケーションでよく見られる。 これらの異常例は、アプリケーション固有の異常について貴重な知識を提供する。 トレーニング中に見られる異常は、可能なあらゆる種類の異常を説明できないことが多い。 本稿では,オープンセット型教師付き異常検出に取り組む。
  論文  参考訳（メタデータ） (2022-03-28T05:21:37Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Understanding the Effect of Bias in Deep Anomaly Detection [15.83398707988473]
  異常検出はラベル付き異常データの不足のため、機械学習においてユニークな課題となる。 最近の研究は、追加のラベル付き異常サンプルによる深部異常検出モデルのトレーニングを増強することで、このような問題を緩和しようとするものである。 本稿では,異常検出に対するバイアス付き異常集合の効果を理解することを目的とする。
  論文  参考訳（メタデータ） (2021-05-16T03:55:02Z)
• Learning Causal Models Online [103.87959747047158]
  予測モデルは、予測を行うためにデータの急激な相関に依存することができる。 強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。 本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T20:49:20Z)
• Deep Weakly-supervised Anomaly Detection [118.55172352231381]
  ペアワイズ関係予測ネットワーク(PReNet)は、ペアワイズ関係の特徴と異常スコアを学習する。 PReNetは、学習したペアの異常パターンに適合する見知らぬ異常を検出できる。 12の実世界のデータセットに対する実証的な結果から、PReNetは目に見えない異常や異常を検知する9つの競合する手法を著しく上回っている。
  論文  参考訳（メタデータ） (2019-10-30T00:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。