論文の概要: Benchmark AUC Is Not Deployable Reliability: A Cross-Dataset Audit of Off-the-Shelf Features for Surveillance Video Anomaly Detection
- arxiv url: http://arxiv.org/abs/2606.29506v1
- Date: Sun, 28 Jun 2026 17:08:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.945563
- Title: Benchmark AUC Is Not Deployable Reliability: A Cross-Dataset Audit of Off-the-Shelf Features for Surveillance Video Anomaly Detection
- Title（参考訳）: Benchmark AUCはデプロイ可能な信頼性がない:監視ビデオ異常検出のためのオフザシェルフ機能のクロスデータセット監査
- Abstract要約: 自動的な“suspicious behavior”フラグングは、AI監視の柱となる約束だ。
Fieldは標準ビデオ異常検出ベンチマークで高フレームレベルのROC-AUCを報告している。
その仮定が下がったときに何が起こるか監査します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated "suspicious behavior" flagging is a headline promise of AI surveillance, and the field reports high frame-level ROC-AUC on standard video anomaly detection benchmarks. Those numbers are measured by training and testing on the same camera and scene. We audit what happens when that assumption is dropped. We build an unsupervised normality model from the all-normal training frames of one dataset, using frozen off-the-shelf embeddings (CLIP, DINOv2, ResNet-50, EfficientNet-B0) and a nearest-neighbour distance, and score the test frames of the same and of other datasets. Across 4 real datasets (UCSD Ped1, UCSD Ped2, CUHK Avenue, ShanghaiTech) and 4 backbones, same-dataset AUC averages 0.704 but cross-dataset AUC averages 0.499, which is chance: a detector calibrated on one scene is no better than a coin flip on another, and in several pairs it is below chance. The strongest backbone makes this worse, not better: DINOv2 has the best same-dataset AUC (up to 0.901 on Ped2) and the largest cross-dataset drop. The collapse is not an artefact of the scoring rule: replacing the nearest-neighbour detector with a PaDiM-style Mahalanobis detector reproduces it almost exactly (cross-dataset gap 0.202 versus 0.208). Even at a favourable operating point the false-alarm rate is on the order of 31,931 per hour. We conclude that the benchmark numbers quoted for surveillance anomaly detection describe a calibrated laboratory setting and overstate deployable reliability by a wide margin, and we release the code that reproduces every number.
- Abstract（参考訳）: 自動的な“suspicious behavior”フラグングは、AI監視の柱となる約束であり、現場では、標準のビデオ異常検出ベンチマークで高いフレームレベルのROC-AUCを報告している。
これらの数字は、同じカメラとシーンでトレーニングとテストによって測定される。
その仮定が下がったときに何が起こるか監査します。
1つのデータセットの全正規トレーニングフレームから、凍結したオフザシェルフ埋め込み(CLIP, DINOv2, ResNet-50, EfficientNet-B0)と最近傍距離を用いて教師なし正規性モデルを構築し、同じデータセットと他のデータセットのテストフレームをスコアリングする。
4つの実際のデータセット(UCSD Ped1, UCSD Ped2, CUHK Avenue, ShanghaiTech)と4つのバックボーン、同じデータセットのAUCの平均は0.704であるが、クロスデータセットのAUCの平均は0.499である。
DINOv2はAUC(Ped2では0.901まで)と、最大のクロスデータセットドロップを備えています。
最寄りの検出器をPaDiM型マハラノビス検出器に置き換えると、ほぼ正確にそれを再現する(データセット間のギャップ0.202対0.208)。
良好な運用ポイントでも、偽アラームレートは1時間あたり31,931である。
監視異常検出のために引用されたベンチマーク番号は、校正された実験室の設定とオーバーステートのデプロイ可能な信頼性を広いマージンで記述し、全ての数値を再現するコードをリリースする。
関連論文リスト
- Provenance, Not Behaviour: A Serialisation Artifact in Edge-IIoTset and a Leakage-Free Benchmark for Precision-Agriculture Intrusion Detection [0.0]
Edge-IIoTsetは、IoTにおける機械学習侵入検出のベンチマークである。
そのパフォーマンスの多くは侵入検出ではないことが示されています。
AgriEdge:1,276,122行、完全な属性を持つ5つのデバイス、0.0288以上のクラスを分離する列がない。
論文 参考訳（メタデータ） (2026-08-16T14:30:45Z) - Did We Actually Fix It? An Independent Adversarial Stress-Test of Post-Point-Adjustment Evaluation Metrics for Time-Series Anomaly Detection [0.0]
我々は,実際のベンチマークにおいて,代替指標が非熟練検出器に抵抗するか否かを,独立して,反対に問う。
N, 敵が最も多く報告するランダムな試行回数。
ほぼすべてのベンチマークにおいて、単一ランのスコアを報告したり、Nを開示したり、最もNのインフレに抵抗するPRベースの指標を好むことを推奨する。
論文 参考訳（メタデータ） (2026-07-12T22:33:07Z) - RGLD: Randomized Global-Local Density Estimation for Tabular Anomaly Detection [10.363495989074226]
教師なしタブ状異常検出には、異種データセット間で堅牢な方法が必要である。
本稿では,効率的な教師なし異常検出のためのランダム化グローバル局所密度推定器 RGLD を提案する。
RGLDは、データセットレベルのAUROCパフォーマンスを最強に達成し、データセットの勝利で1位、AUPRCの勝利で2位にランクインした。
論文 参考訳（メタデータ） (2026-06-27T15:20:09Z) - Anticipating the Optimism Gap: Predicting Distribution-Shift Degradation of RF-Impairment Detectors from In-Distribution Statistics [0.0]
電波障害の検知器は、通常、調整された分布で測定された単一のAUCで報告される。
アウト・オブ・ディストリビューション・データを見る前に、この楽観主義が予測できるかどうかを問う。
論文 参考訳（メタデータ） (2026-06-20T14:10:59Z) - The Distributed Detectability Band Against Marginal-Preserving Attacks [0.0]
AIコントロールは、個々のエージェントアクションをスコアし、誤った振る舞いを検出する。
本当の害は、多くの良心的なステップに分散することができ、各ステップ毎のアラームよりそれぞれ低い。
我々は、限界保存、相関符号化された分散サボタージュ攻撃を構築する。
論文 参考訳（メタデータ） (2026-06-09T06:04:30Z) - How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures [0.0]
VLAアーキテクチャは、モーター・コマンドレベルで根本的に異なる予測可能な方法で失敗する。
我々は、よく知られた離散/連続的なVLAの区別の結果を定量化する。
論文 参考訳（メタデータ） (2026-05-27T16:44:55Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Benchmarking Fraud Detectors on Private Graph Data [70.4654745317714]
現在、多くの種類の不正は、グラフ上で動く自動検出アルゴリズムによって部分的に管理されている。
データ保有者が不正検知器の開発を第三者にアウトソースしようとするシナリオを考察する。
サードパーティは、不正検出をデータ保持者に送信し、これらのアルゴリズムをプライベートデータセットで評価し、その結果を公表する。
本システムに対する現実的なプライバシ攻撃を提案し,評価結果のみに基づいて個人データの匿名化を可能にする。
論文 参考訳（メタデータ） (2025-07-30T03:20:15Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - Discriminative-Generative Dual Memory Video Anomaly Detection [81.09977516403411]
近年,ビデオ異常検出(VAD)には,トレーニングプロセス中に通常のデータに代えて,いくつかの異常を使おうと試みている。
本稿では,いくつかの異常を生かしてデータの不均衡を解決するために,識別生成型デュアルメモリ(dream)異常検出モデルを提案する。
論文 参考訳（メタデータ） (2021-04-29T15:49:01Z) - Real-Time Anomaly Detection in Edge Streams [49.26098240310257]
マイクロクラスタ異常の検出に焦点を当てたMIDASを提案する。
さらに、アルゴリズムの内部状態に異常が組み込まれている問題を解くために、MIDAS-Fを提案する。
実験の結果,MIDAS-Fの精度はMIDASよりも有意に高かった。
論文 参考訳（メタデータ） (2020-09-17T17:59:27Z) - Detection in Crowded Scenes: One Proposal, Multiple Predictions [79.28850977968833]
混み合ったシーンにおける高過度なインスタンスを検出することを目的とした,提案手法によるオブジェクト検出手法を提案する。
このアプローチの鍵は、各提案が以前の提案ベースのフレームワークの1つではなく、関連したインスタンスのセットを予測できるようにすることです。
我々の検出器は、CrowdHumanデータセットの挑戦に対して4.9%のAPゲインを得ることができ、CityPersonsデータセットでは1.0%$textMR-2$の改善がある。
論文 参考訳（メタデータ） (2020-03-20T09:48:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。