論文の概要: Why Ranking Anomaly Detection Algorithms Isn't as Reliable as You May Think

• arxiv url: http://arxiv.org/abs/2608.04613v1
• Date: Wed, 05 Aug 2026 09:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.798526
• Title: Why Ranking Anomaly Detection Algorithms Isn't as Reliable as You May Think
• Title（参考訳）: 異常検出アルゴリズムが信頼性に欠ける理由
• Authors: Simon Klüttermann, Jérôme Rutinowski, Frederik Polachowski, Alice Kirchheim,
• Abstract要約: 異常検出は、不正検出からネットワーク侵入防止、産業監視まで幅広い応用において、安全クリティカルな機械学習問題である。 本稿では,一般的なベンチマーク選択がアルゴリズムランキングの安定性に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 1.0342647296017804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Anomaly detection is a safety-critical machine learning problem with applications ranging from fraud detection to network intrusion prevention and industrial monitoring. Despite the large number of proposed anomaly detection algorithms, many novel methods claim state-of-the-art performance. However, many authors do so under benchmark settings that are not aligned with one another. This lack of comparability raises concerns regarding the reproducibility and reliability of anomaly detection benchmarks. In this work, we study the impact of common benchmarking choices on the stability of algorithm rankings. Using seven representative anomaly detection algorithms and 690 datasets from the OddBench benchmark suite, we analyze how rankings change under varying dataset selections, evaluation metrics, hyperparameter configurations, and random seeds. To quantify this effect, we introduce a rank instability metric measuring the variability of algorithm rankings across benchmark settings. Our results show that algorithm rankings in anomaly detection are highly unstable. In many cases, almost every competitive algorithm can appear as the best-performing method under some benchmark configuration. Among the studied factors, dataset selection and hyperparameter choice contribute most strongly to ranking uncertainty, while random seeds and evaluation metrics have a comparatively limited impact. We also observe that reliable benchmarking requires substantially larger and more diverse dataset collections than the ones commonly used in prior work.
• Abstract（参考訳）: 異常検出は、不正検出からネットワーク侵入防止、産業監視まで幅広い応用において、安全クリティカルな機械学習問題である。 多くの提案された異常検出アルゴリズムにもかかわらず、多くの新しい手法が最先端の性能を主張している。 しかし、多くの著者は、互いに一致しないベンチマーク設定でそうしている。 この互換性の欠如は、異常検出ベンチマークの再現性と信頼性に関する懸念を引き起こす。 本研究では,一般的なベンチマーク選択がアルゴリズムランキングの安定性に与える影響について検討する。 OddBenchベンチマークスイートの7つの代表的な異常検出アルゴリズムと690のデータセットを用いて、さまざまなデータセット選択、評価指標、ハイパーパラメータ設定、ランダムシードでランキングがどのように変化するかを分析する。 この効果を定量化するために、ベンチマーク設定間のアルゴリズムランキングの変動を計測するランク不安定度指標を導入する。 その結果,異常検出におけるアルゴリズムのランク付けは非常に不安定であることがわかった。 多くの場合、ほとんどの競合アルゴリズムは、あるベンチマーク設定の下で最高のパフォーマンスの方法として現れる。 研究された要因のうち、データセットの選択とハイパーパラメータの選択は、分類の不確実性に最も強く寄与する一方、ランダムシードと評価指標は比較的限定的な影響を持つ。 また、信頼性の高いベンチマークには、以前の作業でよく使われるものよりもはるかに大きく、より多様なデータセット収集が必要であることも観察しています。

関連論文リスト

• Benchmarking Fraud Detectors on Private Graph Data [70.4654745317714]
  現在、多くの種類の不正は、グラフ上で動く自動検出アルゴリズムによって部分的に管理されている。 データ保有者が不正検知器の開発を第三者にアウトソースしようとするシナリオを考察する。 サードパーティは、不正検出をデータ保持者に送信し、これらのアルゴリズムをプライベートデータセットで評価し、その結果を公表する。 本システムに対する現実的なプライバシ攻撃を提案し,評価結果のみに基づいて個人データの匿名化を可能にする。
  論文  参考訳（メタデータ） (2025-07-30T03:20:15Z)
• SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
  本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。 本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。 既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
  論文  参考訳（メタデータ） (2024-03-21T08:49:34Z)
• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• A Revealing Large-Scale Evaluation of Unsupervised Anomaly Detection Algorithms [0.0]
  異常検出には、銀行詐欺検知やサイバー脅威検出から機器のメンテナンスや健康モニタリングまで、多くの応用がある。 我々は,最も普及している非教師付き異常検出方法の12点を概観した。
  論文  参考訳（メタデータ） (2022-04-21T00:17:12Z)
• Analyzing the Impact of Undersampling on the Benchmarking and Configuration of Evolutionary Algorithms [3.967483941966979]
  限られたデータに基づいて意思決定を行う場合、注意が必要であることを示す。 統計的レースを用いてラン数を動的に調整しても,20%以上の性能損失の例を示す。
  論文  参考訳（メタデータ） (2022-04-20T09:53:59Z)
• Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination [80.53485617514707]
  本稿では,ギャップベースアルゴリズムと逐次除去に基づく2つのアルゴリズムを提案する。 具体的には、ギャップベースのアルゴリズムでは、サンプルの複雑さは定数要素まで最適であり、連続的な除去では対数因子まで最適である。
  論文  参考訳（メタデータ） (2021-11-14T21:49:58Z)
• Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons [85.5955376526419]
  ランキングアグリゲーション問題では、各項目を比較する際に、様々な精度レベルが示される。 本稿では,ノイズのあるペアワイズ比較によってアイテムのランクを推定する,除去に基づくアクティブサンプリング戦略を提案する。 提案アルゴリズムは,商品の真のランキングを高い確率で返却できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T13:51:55Z)
• Unsupervised Anomaly Detectors to Detect Intrusions in the Current Threat Landscape [0.11470070927586014]
  本研究では,Isolation Forests,One-Class Support Vector Machines,Self-Organizing Mapsが侵入検知用よりも有効であることを示した。 不安定、分散、あるいは非可逆的行動による攻撃を、ファジング、ワーム、ボットネットなどによって検出することがより困難である点を詳述する。
  論文  参考訳（メタデータ） (2020-12-21T14:06:58Z)
• Algorithmic Frameworks for the Detection of High Density Anomalies [0.0]
  高密度異常(英: high-density anomalies)は、データ空間の最も正常な領域に位置する不確定なケースである。 本研究では、教師なし検出のための非パラメトリックアルゴリズムフレームワークをいくつか導入する。
  論文  参考訳（メタデータ） (2020-10-09T17:48:02Z)
• Sequential Adversarial Anomaly Detection for One-Class Event Data [18.577418448786634]
  本稿では,異常なシーケンスのみを利用できる場合の1クラス設定における逐次異常検出問題について考察する。 生成器から最悪のケース列に対して最適な検出器を見つけるために,ミニマックス問題を解くことで,逆数列検出器を提案する。
  論文  参考訳（メタデータ） (2019-10-21T06:12:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。