論文の概要: Vision-Language Models Assisted Unsupervised Video Anomaly Detection

• arxiv url: http://arxiv.org/abs/2409.14109v2
• Date: Thu, 26 Sep 2024 01:38:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 03:33:25.643627
• Title: Vision-Language Models Assisted Unsupervised Video Anomaly Detection
• Title（参考訳）: 教師なしビデオ異常検出を支援する視覚言語モデル
• Authors: Yalong Jiang, Liquan Mao,
• Abstract要約: 異常サンプルは教師なし学習手法における重要な課題を示す。 提案手法では,大規模言語モデルの推論能力を活用したモーダル事前学習モデルを用いる。 本手法は,高次元視覚特徴を低次元意味的特徴にマッピングすることにより,教師なし異常検出の解釈可能性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 3.1095294567873606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video anomaly detection is a subject of great interest across industrial and academic domains due to its crucial role in computer vision applications. However, the inherent unpredictability of anomalies and the scarcity of anomaly samples present significant challenges for unsupervised learning methods. To overcome the limitations of unsupervised learning, which stem from a lack of comprehensive prior knowledge about anomalies, we propose VLAVAD (Video-Language Models Assisted Anomaly Detection). Our method employs a cross-modal pre-trained model that leverages the inferential capabilities of large language models (LLMs) in conjunction with a Selective-Prompt Adapter (SPA) for selecting semantic space. Additionally, we introduce a Sequence State Space Module (S3M) that detects temporal inconsistencies in semantic features. By mapping high-dimensional visual features to low-dimensional semantic ones, our method significantly enhance the interpretability of unsupervised anomaly detection. Our proposed approach effectively tackles the challenge of detecting elusive anomalies that are hard to discern over periods, achieving SOTA on the challenging ShanghaiTech dataset.
• Abstract（参考訳）: ビデオ異常検出は、コンピュータビジョンアプリケーションにおいて重要な役割を担っているため、産業や学術分野で大きな関心を集めている。 しかし、異常の固有の予測不可能性と異常サンプルの不足は、教師なし学習法において重要な課題である。 VLAVAD(Video-Language Models Assisted Anomaly Detection)を提案する。 提案手法では,大言語モデル(LLM)とSPA(Selective-Prompt Adapter)を併用して,意味空間の選択を行う。 さらに,意味的特徴の時間的矛盾を検出するシークエンス・ステート・スペース・モジュール(S3M)を導入する。 本手法は,高次元視覚特徴を低次元意味的特徴にマッピングすることにより,教師なし異常検出の解釈可能性を大幅に向上させる。 提案手法は,上海技術データセット上でSOTAを達成し,周期的に識別し難い解離異常を検出するという課題を効果的に解決する。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• MissionGNN: Hierarchical Multimodal GNN-based Weakly Supervised Video Anomaly Recognition with Mission-Specific Knowledge Graph Generation [5.0923114224599555]
  本稿では,新しい階層グラフニューラルネットワーク(GNN)モデルであるMissionGNNを紹介する。 提案手法は,大規模マルチモーダルモデル上での重勾配計算を回避し,従来の手法の限界を回避する。 我々のモデルは,従来のセグメンテーションベースやマルチモーダルアプローチの制約を伴わずに,リアルタイムビデオ解析のための実用的で効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-27T01:09:07Z)
• Dynamic Erasing Network Based on Multi-Scale Temporal Features for Weakly Supervised Video Anomaly Detection [103.92970668001277]
  弱教師付きビデオ異常検出のための動的消去ネットワーク(DE-Net)を提案する。 まず,異なる長さのセグメントから特徴を抽出できるマルチスケール時間モデリングモジュールを提案する。 そして,検出された異常の完全性を動的に評価する動的消去戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-04T09:40:11Z)
• Video Anomaly Detection using GAN [0.0]
  この論文は、このユースケースに対する解決策を提供することを目的としており、監視システム記録の異常な活動に目を通すために人的資源が不要になるようにする。 我々は,新しいGANに基づく異常検出モデルを開発した。
  論文  参考訳（メタデータ） (2023-11-23T16:41:30Z)
• Open-Vocabulary Video Anomaly Detection [57.552523669351636]
  監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。 近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。 本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
  論文  参考訳（メタデータ） (2023-11-13T02:54:17Z)
• Future Video Prediction from a Single Frame for Video Anomaly Detection [0.38073142980732994]
  ビデオ異常検出(VAD)はコンピュータビジョンにおいて重要であるが難しい課題である。 本稿では,ビデオ異常検出のための新しいプロキシタスクとして,将来のフレーム予測プロキシタスクを紹介する。 このプロキシタスクは、より長い動きパターンを学習する従来の手法の課題を軽減する。
  論文  参考訳（メタデータ） (2023-08-15T14:04:50Z)
• MGFN: Magnitude-Contrastive Glance-and-Focus Network for Weakly-Supervised Video Anomaly Detection [39.923871347007875]
  そこで本稿では,空間時間情報を統合して高精度な異常検出を行う新しい視点・焦点ネットワークを提案する。 異常の程度を表すために特徴量を使用する既存のアプローチは、通常、シーンのバリエーションの影響を無視する。 本稿では,異常検出のための特徴量の識別性を高めるため,特徴増幅機構とマグニチュードコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2022-11-28T07:10:36Z)
• Spatio-temporal predictive tasks for abnormal event detection in videos [60.02503434201552]
  オブジェクトレベルの正規化パターンを学習するための制約付きプレテキストタスクを提案する。 我々のアプローチは、ダウンスケールの視覚的クエリとそれに対応する正常な外観と運動特性のマッピングを学習することである。 いくつかのベンチマークデータセットの実験では、異常の局所化と追跡のためのアプローチの有効性が示されている。
  論文  参考訳（メタデータ） (2022-10-27T19:45:12Z)
• Anomaly Detection in Video via Self-Supervised and Multi-Task Learning [113.81927544121625]
  ビデオにおける異常検出は、コンピュータビジョンの問題である。 本稿では,オブジェクトレベルでの自己教師型およびマルチタスク学習を通じて,ビデオ中の異常事象検出にアプローチする。
  論文  参考訳（メタデータ） (2020-11-15T10:21:28Z)
• Manifolds for Unsupervised Visual Anomaly Detection [79.22051549519989]
  トレーニングで必ずしも異常に遭遇しない教師なしの学習方法は、非常に有用です。 ジャイロプレーン層を用いた立体投影による超球形変分オートエンコーダ(VAE)を開発した。 工業用AIシナリオにおける実世界の実用性を実証し、精密製造および検査における視覚異常ベンチマークの最先端結果を示す。
  論文  参考訳（メタデータ） (2020-06-19T20:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。