論文の概要: Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection
- arxiv url: http://arxiv.org/abs/2306.14451v1
- Date: Mon, 26 Jun 2023 06:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 14:44:07.200291
- Title: Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection
- Title(参考訳): 弱教師付きビデオ異常検出のためのプロンプト強化コンテキスト特徴の学習
- Authors: Yujiang Pu, Xiaoyu Wu, Shengjin Wang
- Abstract要約: 弱い監督下での映像異常検出は、訓練期間中にフレームレベルのアノテーションが欠如しているため困難である。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上を重視した,弱教師付き異常検出フレームワークを提案する。
- 参考スコア(独自算出の注目度): 32.784700825554836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video anomaly detection under weak supervision is challenging due to the
absence of frame-level annotations during the training phase. Previous work has
employed graph convolution networks or self-attention mechanisms to model
temporal relations, along with multiple instance learning (MIL)-based
classification loss to learn discriminative features. However, most of them
utilize multi-branches to capture local and global dependencies separately,
leading to increased parameters and computational cost. Furthermore, the
binarized constraint of the MIL-based loss only ensures coarse-grained
interclass separability, ignoring fine-grained discriminability within
anomalous classes. In this paper, we propose a weakly supervised anomaly
detection framework that emphasizes efficient context modeling and enhanced
semantic discriminability. To this end, we first construct a temporal context
aggregation (TCA) module that captures complete contextual information by
reusing similarity matrix and adaptive fusion. Additionally, we propose a
prompt-enhanced learning (PEL) module that incorporates semantic priors into
the model by utilizing knowledge-based prompts, aiming at enhancing the
discriminative capacity of context features while ensuring separability between
anomaly sub-classes. Furthermore, we introduce a score smoothing (SS) module in
the testing phase to suppress individual bias and reduce false alarms.
Extensive experiments demonstrate the effectiveness of various components of
our method, which achieves competitive performance with fewer parameters and
computational effort on three challenging benchmarks: the UCF-crime,
XD-violence, and ShanghaiTech datasets. The detection accuracy of some anomaly
sub-classes is also improved with a great margin.
- Abstract(参考訳): 訓練段階でフレームレベルのアノテーションがないため,弱い監督下での映像異常検出は困難である。
これまでの研究では、時間的関係をモデル化するためのグラフ畳み込みネットワークや自己認識機構や、複数のインスタンス学習(MIL)に基づく分類損失を用いて、識別的特徴を学習してきた。
しかし、それらのほとんどがマルチブランチを使用してローカルとグローバルの依存関係を別々に捉えており、パラメータと計算コストが増加する。
さらに、MILに基づく損失の双項化制約は、粒度の粗いクラス間分離性のみを保証し、異常クラス内の粒度の識別性を無視する。
本稿では,効率的な文脈モデリングと意味的識別性の向上を強調する,弱教師付き異常検出フレームワークを提案する。
この目的のために、我々はまず、類似度行列と適応融合を再利用して完全なコンテキスト情報をキャプチャする時間的コンテキストアグリゲーション(TCA)モジュールを構築した。
さらに,文脈特徴の識別能力を向上し,異常なサブクラス間の分離性を確保することを目的として,知識に基づくプロンプトを活用することによって,セマンティック先行をモデルに組み込んだPELモジュールを提案する。
さらに,得点平滑化(ss)モジュールをテストフェーズに導入し,個々のバイアスを抑制し,誤報を低減する。
提案手法の各種コンポーネントの有効性を実証する実験を行い,utf-crime,xd-violence,上海テックデータセットの3つの難解なベンチマークにおいて,パラメータの少ない競合性能と計算労力を実現した。
いくつかの異常サブクラスの検出精度も大きなマージンで改善されている。
関連論文リスト
- Robust optimization for adversarial learning with finite sample complexity guarantees [1.8434042562191815]
本稿では,線形・非線形な分類問題に着目し,ロバストな分類器に対する新しい逆学習法を提案する。
データ駆動型レンズの下ではロバスト性があり、線形および非線形の分類器の2進および複数クラスシナリオにおける有限標本複雑性境界を導出する。
線形および非線形モデルに対する線形計画法 (LP) と2次コーン計画法 (SOCP) を用いて, 最悪のサロゲート損失を最小限に抑えるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-22T13:49:53Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳(メタデータ) (2022-03-29T21:00:39Z) - Learning to Adapt to Unseen Abnormal Activities under Weak Supervision [43.40900198498228]
ビデオ中の弱教師付き異常検出のためのメタラーニングフレームワークを提案する。
このフレームワークは,バイナリラベルの動画レベルのアノテーションが利用可能である場合にのみ,目に見えないような異常なアクティビティに効果的に対応できることを学習する。
論文 参考訳(メタデータ) (2022-03-25T12:15:44Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-02-02T23:54:26Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳(メタデータ) (2021-07-28T05:18:10Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳(メタデータ) (2021-07-23T06:57:08Z) - Learning Robust Representation for Clustering through Locality
Preserving Variational Discriminative Network [16.259673823482665]
Variational Deep Embeddingは、さまざまなクラスタリングタスクで大きな成功を収めます。
VaDEは,1)入力ノイズに弱い,2)隣接するデータポイント間の局所性情報を無視する,という2つの問題に悩まされている。
強固な埋め込み判別器と局所構造制約によりvadeを改善する共同学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-25T02:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。