論文の概要: MissionGNN: Hierarchical Multimodal GNN-based Weakly Supervised Video Anomaly Recognition with Mission-Specific Knowledge Graph Generation

• arxiv url: http://arxiv.org/abs/2406.18815v2
• Date: Wed, 30 Oct 2024 18:08:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:56:59.788837
• Title: MissionGNN: Hierarchical Multimodal GNN-based Weakly Supervised Video Anomaly Recognition with Mission-Specific Knowledge Graph Generation
• Title（参考訳）: MissionGNN:Mission-Specific Knowledge Graph Generationによる階層型マルチモーダルGNNに基づく弱教師付きビデオ異常認識
• Authors: Sanggeon Yun, Ryozo Masukawa, Minhyoung Na, Mohsen Imani,
• Abstract要約: 本稿では,新しい階層グラフニューラルネットワーク(GNN)モデルであるMissionGNNを紹介する。 提案手法は,大規模マルチモーダルモデル上での重勾配計算を回避し,従来の手法の限界を回避する。 我々のモデルは,従来のセグメンテーションベースやマルチモーダルアプローチの制約を伴わずに,リアルタイムビデオ解析のための実用的で効率的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 5.0923114224599555
• License:
• Abstract: In the context of escalating safety concerns across various domains, the tasks of Video Anomaly Detection (VAD) and Video Anomaly Recognition (VAR) have emerged as critically important for applications in intelligent surveillance, evidence investigation, violence alerting, etc. These tasks, aimed at identifying and classifying deviations from normal behavior in video data, face significant challenges due to the rarity of anomalies which leads to extremely imbalanced data and the impracticality of extensive frame-level data annotation for supervised learning. This paper introduces a novel hierarchical graph neural network (GNN) based model MissionGNN that addresses these challenges by leveraging a state-of-the-art large language model and a comprehensive knowledge graph for efficient weakly supervised learning in VAR. Our approach circumvents the limitations of previous methods by avoiding heavy gradient computations on large multimodal models and enabling fully frame-level training without fixed video segmentation. Utilizing automated, mission-specific knowledge graph generation, our model provides a practical and efficient solution for real-time video analysis without the constraints of previous segmentation-based or multimodal approaches. Experimental validation on benchmark datasets demonstrates our model's performance in VAD and VAR, highlighting its potential to redefine the landscape of anomaly detection and recognition in video surveillance systems.
• Abstract（参考訳）: ビデオ異常検出(VAD)とビデオ異常認識(VAR)のタスクは、さまざまな領域にわたる安全上の懸念をエスカレートする文脈において、インテリジェントな監視、証拠調査、暴力警告などの応用において重要視されている。 これらの課題は、ビデオデータの正常な振る舞いから逸脱を識別し分類することを目的としており、異常の出現が極めて不均衡なデータと、教師付き学習のための広範囲なフレームレベルのデータアノテーションの非現実性に繋がるため、重大な課題に直面している。 本稿では、最先端の大規模言語モデルと総合知識グラフを活用して、VARにおける弱教師付き学習を効果的に行うことで、これらの課題に対処する新しい階層型グラフニューラルネットワーク(GNN)モデルであるMissionGNNを紹介する。 提案手法は,大規模なマルチモーダルモデル上での重勾配計算を回避し,固定ビデオセグメント化を伴わないフレームレベルの完全トレーニングを実現することにより,従来の手法の限界を回避する。 ミッション固有の知識グラフの自動生成を活用することで,従来のセグメンテーションやマルチモーダルアプローチの制約を伴わずに,リアルタイムビデオ解析のための実用的で効率的なソリューションを提供する。 ベンチマークデータセットに対する実験的検証は、VADとVARにおける我々のモデルの性能を示し、ビデオ監視システムにおける異常検出と認識の状況を再定義する可能性を強調している。

関連論文リスト

• Vision-Language Models Assisted Unsupervised Video Anomaly Detection [3.1095294567873606]
  異常サンプルは教師なし学習手法における重要な課題を示す。 提案手法では,大規模言語モデルの推論能力を活用したモーダル事前学習モデルを用いる。 本手法は,高次元視覚特徴を低次元意味的特徴にマッピングすることにより,教師なし異常検出の解釈可能性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-09-21T11:48:54Z)
• Weakly Supervised Video Anomaly Detection and Localization with Spatio-Temporal Prompts [57.01985221057047]
  本稿では、事前学習された視覚言語モデル(VLM)に基づく、弱教師付きビデオ異常検出および局所化のための時間的プロンプト埋め込み(WSVADL)を学習する新しい手法を提案する。 提案手法は,WSVADLタスクの3つの公開ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-12T03:31:29Z)
• VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
  VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。 我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。 我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:01Z)
• Dynamic Erasing Network Based on Multi-Scale Temporal Features for Weakly Supervised Video Anomaly Detection [103.92970668001277]
  弱教師付きビデオ異常検出のための動的消去ネットワーク(DE-Net)を提案する。 まず,異なる長さのセグメントから特徴を抽出できるマルチスケール時間モデリングモジュールを提案する。 そして,検出された異常の完全性を動的に評価する動的消去戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-04T09:40:11Z)
• Video Anomaly Detection using GAN [0.0]
  この論文は、このユースケースに対する解決策を提供することを目的としており、監視システム記録の異常な活動に目を通すために人的資源が不要になるようにする。 我々は,新しいGANに基づく異常検出モデルを開発した。
  論文  参考訳（メタデータ） (2023-11-23T16:41:30Z)
• Open-Vocabulary Video Anomaly Detection [57.552523669351636]
  監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。 近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。 本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
  論文  参考訳（メタデータ） (2023-11-13T02:54:17Z)
• Video Anomaly Detection by Estimating Likelihood of Representations [21.879366166261228]
  ビデオ異常は、モーション表現、オブジェクトのローカライゼーション、アクション認識など、多くのサブタスクを解決するため、困難なタスクである。 伝統的に、この課題に対する解決策は、これらの特徴の空間的接続を無視しながら、ビデオフレームとその低次元特徴のマッピングに焦点を当ててきた。 最近のソリューションでは、K-Meansのようなハードクラスタリング技術を用いてこれらの空間的接続を分析することや、潜伏した特徴を一般的な理解にマップするためにニューラルネットワークを適用することに焦点を当てている。 潜在特徴空間における映像異常を解決するために,このタスクを密度推定問題に転送するための深い確率モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-02T19:16:22Z)
• Robust Unsupervised Video Anomaly Detection by Multi-Path Frame Prediction [61.17654438176999]
  本稿では,フレーム予測と適切な設計による新規で頑健な非教師付きビデオ異常検出手法を提案する。 提案手法は,CUHK Avenueデータセット上で88.3%のフレームレベルAUROCスコアを得る。
  論文  参考訳（メタデータ） (2020-11-05T11:34:12Z)
• Video Anomaly Detection Using Pre-Trained Deep Convolutional Neural Nets and Context Mining [2.0646127669654835]
  本稿では,事前学習した畳み込みニューラルネットモデルを用いて特徴抽出とコンテキストマイニングを行う方法について述べる。 我々は,高レベルの特徴から文脈特性を導出し,ビデオ異常検出法の性能をさらに向上させる。
  論文  参考訳（メタデータ） (2020-10-06T00:26:14Z)
• Self-trained Deep Ordinal Regression for End-to-End Video Anomaly Detection [114.9714355807607]
  ビデオ異常検出に自己学習深層順序回帰を適用することで,既存の手法の2つの重要な限界を克服できることを示す。 我々は,手動で正規/異常データをラベル付けすることなく,共同表現学習と異常スコアリングを可能にする,エンドツーエンドのトレーニング可能なビデオ異常検出手法を考案した。
  論文  参考訳（メタデータ） (2020-03-15T08:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。