論文の概要: Rare anomalies require large datasets: About proving the existence of anomalies

• arxiv url: http://arxiv.org/abs/2508.09894v1
• Date: Wed, 13 Aug 2025 15:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.949287
• Title: Rare anomalies require large datasets: About proving the existence of anomalies
• Title（参考訳）: 希少な異常は大きなデータセットを必要とする:異常の存在を証明するために
• Authors: Simon Klüttermann, Emmanuel Müller,
• Abstract要約: 本稿では,基本的問題に対処する包括的研究について述べる。 データセットのサイズ、汚染率、およびアルゴリズム依存定数 $ alpha_textalgo $ の関係を同定する。 以上の結果から,N のラベル付きデータセットと nu $ の汚染率に対して,N ge fracalpha_textalgonu2 $ という条件は,異常の存在を確認するのに必要なサンプル数に対して低い値を示す。
• 参考スコア（独自算出の注目度）: 5.555497750998242
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Detecting whether any anomalies exist within a dataset is crucial for effective anomaly detection, yet it remains surprisingly underexplored in anomaly detection literature. This paper presents a comprehensive study that addresses the fundamental question: When can we conclusively determine that anomalies are present? Through extensive experimentation involving over three million statistical tests across various anomaly detection tasks and algorithms, we identify a relationship between the dataset size, contamination rate, and an algorithm-dependent constant $ \alpha_{\text{algo}} $. Our results demonstrate that, for an unlabeled dataset of size $ N $ and contamination rate $ \nu $, the condition $ N \ge \frac{\alpha_{\text{algo}}}{\nu^2} $ represents a lower bound on the number of samples required to confirm anomaly existence. This threshold implies a limit to how rare anomalies can be before proving their existence becomes infeasible.
• Abstract（参考訳）: データセット内に異常が存在するかどうかを検出することは、効果的な異常検出には不可欠だが、異常検出の文献では驚くほど過小評価されている。 本稿では,基本的問題に対処する包括的研究について述べる。 様々な異常検出タスクとアルゴリズムにわたる300万以上の統計的テストを含む広範囲な実験を通じて、データセットのサイズ、汚染率、およびアルゴリズム依存定数 $ \alpha_{\text{algo}} $ との関係を同定する。 以上の結果から,N のラベル付きデータセットと汚染率 $ \nu $ に対して,N の条件 $ N \ge \frac{\alpha_{\text{algo}}}{\nu^2} は異常の存在を確認するのに必要なサンプル数に対する下限を表す。 この閾値は、その存在を証明する前に、いかに稀な異常が生じるかに制限されることを意味する。

関連論文リスト

• MetaGAD: Meta Representation Adaptation for Few-Shot Graph Anomaly Detection [31.218962952724624]
  少数ショットグラフ異常検出の重要な問題について検討する。 本稿では,自己指導学習から少数ショット指導学習へ知識を適応させるメタGADを提案する。 具体的には、二段階最適化として問題を定式化し、MetaGADの収束を保証し、検証損失を最小限に抑える。
  論文  参考訳（メタデータ） (2023-05-18T03:04:51Z)
• AGAD: Adversarial Generative Anomaly Detection [12.68966318231776]
  異常検出は,異常の多様性と大規模異常データ取得の困難さにより異常の欠如に悩まされた。 本稿では,自己コントラストに基づく異常検出パラダイムであるAdversarial Generative Anomaly Detection (AGAD)を提案する。 本手法は,教師付きおよび半教師付き両方の異常検出シナリオに対して擬似異常データを生成する。
  論文  参考訳（メタデータ） (2023-04-09T10:40:02Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection [90.32910087103744]
  ラベル付き異常な例は、多くの現実世界のアプリケーションでよく見られる。 これらの異常例は、アプリケーション固有の異常について貴重な知識を提供する。 トレーニング中に見られる異常は、可能なあらゆる種類の異常を説明できないことが多い。 本稿では,オープンセット型教師付き異常検出に取り組む。
  論文  参考訳（メタデータ） (2022-03-28T05:21:37Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Understanding the Effect of Bias in Deep Anomaly Detection [15.83398707988473]
  異常検出はラベル付き異常データの不足のため、機械学習においてユニークな課題となる。 最近の研究は、追加のラベル付き異常サンプルによる深部異常検出モデルのトレーニングを増強することで、このような問題を緩和しようとするものである。 本稿では,異常検出に対するバイアス付き異常集合の効果を理解することを目的とする。
  論文  参考訳（メタデータ） (2021-05-16T03:55:02Z)
• Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data [150.9270911031327]
  本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。 既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。 そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-15T03:05:39Z)
• Deep Weakly-supervised Anomaly Detection [118.55172352231381]
  ペアワイズ関係予測ネットワーク(PReNet)は、ペアワイズ関係の特徴と異常スコアを学習する。 PReNetは、学習したペアの異常パターンに適合する見知らぬ異常を検出できる。 12の実世界のデータセットに対する実証的な結果から、PReNetは目に見えない異常や異常を検知する9つの競合する手法を著しく上回っている。
  論文  参考訳（メタデータ） (2019-10-30T00:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。