論文の概要: Rethinking Metrics and Benchmarks of Video Anomaly Detection

• arxiv url: http://arxiv.org/abs/2505.19022v1
• Date: Sun, 25 May 2025 08:09:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.843023
• Title: Rethinking Metrics and Benchmarks of Video Anomaly Detection
• Title（参考訳）: ビデオ異常検出のメトリクスとベンチマークの再考
• Authors: Zihao Liu, Xiaoyu Wu, Wenna Li, Linlin Yang,
• Abstract要約: ビデオ異常検出(VAD)は、期待から外れた異常を検出することを目的としている。 本稿では, 総合的な実験分析を通じて, VAD評価プロトコルを再考する。 これらの制約に対処するための3つの新しい評価手法を提案する。
• 参考スコア（独自算出の注目度）: 12.500876355560184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Anomaly Detection (VAD), which aims to detect anomalies that deviate from expectation, has attracted increasing attention in recent years. Existing advancements in VAD primarily focus on model architectures and training strategies, while devoting insufficient attention to evaluation metrics and benchmarks. In this paper, we rethink VAD evaluation protocols through comprehensive experimental analyses, revealing three critical limitations in current practices: 1) existing metrics are significantly influenced by single annotation bias; 2) current metrics fail to reward early detection of anomalies; 3) available benchmarks lack the capability to evaluate scene overfitting. To address these limitations, we propose three novel evaluation methods: first, we establish averaged AUC/AP metrics over multi-round annotations to mitigate single annotation bias; second, we develop a Latency-aware Average Precision (LaAP) metric that rewards early and accurate anomaly detection; and finally, we introduce two hard normal benchmarks (UCF-HN, MSAD-HN) with videos specifically designed to evaluate scene overfitting. We report performance comparisons of ten state-of-the-art VAD approaches using our proposed evaluation methods, providing novel perspectives for future VAD model development.
• Abstract（参考訳）: 近年,期待から外れた異常の検出を目的としたビデオ異常検出(VAD)が注目されている。 既存のVADの進歩は主にモデルアーキテクチャとトレーニング戦略に焦点を当て、評価指標とベンチマークに十分な注意を払っている。 本稿では, 総合的な実験分析を通じて, VAD評価プロトコルを再考し, 現行の実践における3つの重要な限界を明らかにした。 1) 既存の指標は,単一のアノテーションバイアスの影響を著しく受けている。 2 現在の指標は、異常の早期発見に報われない。 3) 利用可能なベンチマークには、シーンオーバーフィットを評価する能力がない。 まず,複数のアノテーションに対して平均AUC/APメトリクスを定め,単一アノテーションバイアスを緩和する。次に,早期かつ正確な異常検出を報いる遅延認識平均精度(LaAP)メトリクスを開発し,最後に,シーンオーバーフィッティングを特化して2つのハードノーマルベンチマーク(UCF-HN,MSAD-HN)を導入する。 本稿では,提案手法を用いた10種類の最先端VAD手法の性能比較を行い,今後のVADモデル開発に向けた新たな視点を提供する。

関連論文リスト

• Revisiting Model Inversion Evaluation: From Misleading Standards to Reliable Privacy Assessment [63.07424521895492]
  モデル反転(MI)攻撃は、機械学習モデルTへのアクセスを利用して、プライベートトレーニングデータから情報を再構築することを目的としている。 このような攻撃に対する標準的な評価フレームワークは、Tと同じタスク設計で訓練された評価モデルEに依存している。 このフレームワークはMI研究の進歩を評価するためのデファクトスタンダードとなり、近年のMI攻撃や防衛のほとんどすべてで問題なく使用されている。
  論文  参考訳（メタデータ） (2025-05-06T13:32:12Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• AUPIMO: Redefining Visual Anomaly Detection Benchmarks with High Speed and Low Tolerance [0.562479170374811]
  Per-IMage Overlap(PIMO)は、AUROCとAUPROの欠点に対処する新しいメトリクスである。 画像ごとのリコールの測定は、計算を単純化し、ノイズの多いアノテーションに対してより堅牢である。 実験の結果,PIMOは実用的優位性があり,性能の見識に乏しいことがわかった。
  論文  参考訳（メタデータ） (2024-01-03T21:24:44Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Enhancing Evaluation Methods for Infrared Small-Target Detection in Real-world Scenarios [2.6723845245975064]
  赤外線小目標検出(IRSTD)はコンピュータビジョンの分野で大きな課題となる。 パフォーマンスを評価するために使用される評価指標について、広範な調査が行われていない。 我々は、まず既存のメトリクスの有効性を評価し、次に従来のメトリクスの限界を克服するために新しいメトリクスを提案することで、この問題に対処する体系的なアプローチを採用する。
  論文  参考訳（メタデータ） (2023-01-10T05:40:28Z)
• Unsupervised Anomaly Detection in Time-series: An Extensive Evaluation and Analysis of State-of-the-art Methods [10.618572317896515]
  時系列における教師なし異常検出は文献で広く研究されている。 本稿では,近年の時系列における教師なし異常検出手法の詳細な評価手法を提案する。
  論文  参考訳（メタデータ） (2022-12-06T15:05:54Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
  希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。 このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
  論文  参考訳（メタデータ） (2020-03-16T00:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。