論文の概要: Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection
- arxiv url: http://arxiv.org/abs/2306.14451v2
- Date: Tue, 23 Jan 2024 03:41:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 19:30:08.936143
- Title: Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection
- Title(参考訳): 弱教師付きビデオ異常検出のためのプロンプト強化コンテキスト特徴の学習
- Authors: Yujiang Pu, Xiaoyu Wu, Lulu Yang, Shengjin Wang
- Abstract要約: 弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
- 参考スコア(独自算出の注目度): 37.99031842449251
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video anomaly detection under weak supervision presents significant
challenges, particularly due to the lack of frame-level annotations during
training. While prior research has utilized graph convolution networks and
self-attention mechanisms alongside multiple instance learning (MIL)-based
classification loss to model temporal relations and learn discriminative
features, these methods often employ multi-branch architectures to capture
local and global dependencies separately, resulting in increased parameters and
computational costs. Moreover, the coarse-grained interclass separability
provided by the binary constraint of MIL-based loss neglects the fine-grained
discriminability within anomalous classes. In response, this paper introduces a
weakly supervised anomaly detection framework that focuses on efficient context
modeling and enhanced semantic discriminability. We present a Temporal Context
Aggregation (TCA) module that captures comprehensive contextual information by
reusing the similarity matrix and implementing adaptive fusion. Additionally,
we propose a Prompt-Enhanced Learning (PEL) module that integrates semantic
priors using knowledge-based prompts to boost the discriminative capacity of
context features while ensuring separability between anomaly sub-classes.
Extensive experiments validate the effectiveness of our method's components,
demonstrating competitive performance with reduced parameters and computational
effort on three challenging benchmarks: UCF-Crime, XD-Violence, and
ShanghaiTech datasets. Notably, our approach significantly improves the
detection accuracy of certain anomaly sub-classes, underscoring its practical
value and efficacy. Our code is available at:
https://github.com/yujiangpu20/PEL4VAD.
- Abstract(参考訳): 弱い監督下での映像異常検出は、特に訓練中にフレームレベルのアノテーションが欠如しているため、重大な課題を呈する。
従来の研究では、複数のインスタンス学習(MIL)に基づく分類損失を伴うグラフ畳み込みネットワークと自己認識機構を利用して時間関係をモデル化し、識別的特徴を学習する一方で、これらの手法では、局所的およびグローバルな依存関係を個別にキャプチャするためにマルチブランチアーキテクチャを用いており、パラメータと計算コストが増大する。
さらに、MILに基づく損失のバイナリ制約によって提供される粗粒層間分離性は、異常なクラス内での微粒層識別性を無視する。
そこで本研究では,効率的なコンテキストモデリングとセマンティック識別性の向上に着目した,弱教師付き異常検出フレームワークを提案する。
本稿では,類似度行列を再利用し,適応的融合を実装することで,包括的文脈情報を取り込む時間的コンテキスト集約(tca)モジュールを提案する。
さらに,文脈特徴の識別能力を高めるために知識に基づくプロンプトを用いて意味的優先の統合を行い,異常サブクラス間の分離性を確保したprompten-enhanced learning (pel)モジュールを提案する。
提案手法の有効性を検証する広範な実験を行い, ucf-crime, xd-violence, shanghaitechデータセットの3つの難解なベンチマークにおいて,パラメータの削減と計算労力の削減による競合性能の実証を行った。
特に,本手法は,異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を明らかにする。
私たちのコードは、https://github.com/yujiangpu20/pel4vadで利用可能です。
関連論文リスト
- Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Threshold-Consistent Margin Loss for Open-World Deep Metric Learning [42.03620337000911]
画像検索にDeep Metric Learning (DML) で使われている既存の損失は、しばしば非均一なクラス内およびクラス間表現構造に繋がる。
不整合はしばしば、商用画像検索システムを展開する際のしきい値選択過程を複雑にする。
クラス間の動作特性の分散を定量化するOPIS(Operating-Point-Inconsistency-Score)と呼ばれる,新しい分散に基づく尺度を提案する。
論文 参考訳(メタデータ) (2023-07-08T21:16:41Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳(メタデータ) (2022-03-29T21:00:39Z) - Learning to Adapt to Unseen Abnormal Activities under Weak Supervision [43.40900198498228]
ビデオ中の弱教師付き異常検出のためのメタラーニングフレームワークを提案する。
このフレームワークは,バイナリラベルの動画レベルのアノテーションが利用可能である場合にのみ,目に見えないような異常なアクティビティに効果的に対応できることを学習する。
論文 参考訳(メタデータ) (2022-03-25T12:15:44Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-02-02T23:54:26Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳(メタデータ) (2021-07-28T05:18:10Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳(メタデータ) (2021-07-23T06:57:08Z) - Learning Robust Representation for Clustering through Locality
Preserving Variational Discriminative Network [16.259673823482665]
Variational Deep Embeddingは、さまざまなクラスタリングタスクで大きな成功を収めます。
VaDEは,1)入力ノイズに弱い,2)隣接するデータポイント間の局所性情報を無視する,という2つの問題に悩まされている。
強固な埋め込み判別器と局所構造制約によりvadeを改善する共同学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-25T02:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。