論文の概要: A Multilevel Guidance-Exploration Network and Behavior-Scene Matching Method for Human Behavior Anomaly Detection
- arxiv url: http://arxiv.org/abs/2312.04119v2
- Date: Wed, 24 Apr 2024 02:26:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 16:25:00.303621
- Title: A Multilevel Guidance-Exploration Network and Behavior-Scene Matching Method for Human Behavior Anomaly Detection
- Title(参考訳): 行動異常検出のための多レベル誘導探索ネットワークと行動シーンマッチング法
- Authors: Guoqing Yang, Zhiming Luo, Jianzhe Gao, Yingxin Lai, Kun Yang, Yifan He, Shaozi Li,
- Abstract要約: ハイレベル表現の違いから異常を検出するMultilevel Guidance-Exploration Network(MGENet)を提案する。
具体的には、まず骨格キーポイントを入力とし、RGBエンコーダを誘導する学習済み正規化フローを用いて、未知のRGBフレームを入力として取り込んで、動作遅延特徴を探索する。
提案手法は,AUCが86.9 %,UB正規データセットが73.5 %であり,上海技術とUB正規データセットの最先端性能を実現する。
- 参考スコア(独自算出の注目度): 23.794585834150983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human behavior anomaly detection aims to identify unusual human actions, playing a crucial role in intelligent surveillance and other areas. The current mainstream methods still adopt reconstruction or future frame prediction techniques. However, reconstructing or predicting low-level pixel features easily enables the network to achieve overly strong generalization ability, allowing anomalies to be reconstructed or predicted as effectively as normal data. Different from their methods, inspired by the Student-Teacher Network, we propose a novel framework called the Multilevel Guidance-Exploration Network(MGENet), which detects anomalies through the difference in high-level representation between the Guidance and Exploration network. Specifically, we first utilize the pre-trained Normalizing Flow that takes skeletal keypoints as input to guide an RGB encoder, which takes unmasked RGB frames as input, to explore motion latent features. Then, the RGB encoder guides the mask encoder, which takes masked RGB frames as input, to explore the latent appearance feature. Additionally, we design a Behavior-Scene Matching Module(BSMM) to detect scene-related behavioral anomalies. Extensive experiments demonstrate that our proposed method achieves state-of-the-art performance on ShanghaiTech and UBnormal datasets, with AUC of 86.9 % and 73.5 %, respectively. The code will be available on https://github.com/molu-ggg/GENet.
- Abstract(参考訳): 人間の行動異常検出は、知的監視やその他の領域において重要な役割を果たす、異常な人間の行動を特定することを目的としている。
現在の主流の手法では、再構築や将来のフレーム予測技術が採用されている。
しかし、低レベルのピクセルの特徴を再構成したり予測したりすることで、ネットワークが過度に強力な一般化能力を達成し、異常を再構築したり、通常のデータと同じくらい効果的に予測することができる。
学生-教師ネットワークにインスパイアされたこれらの手法とは違って,多段階誘導探索ネットワーク(MGENet)と呼ばれる,誘導探索ネットワークと探索ネットワークの高レベル表現の違いから異常を検出する新しいフレームワークを提案する。
具体的には、まず骨格キーポイントを入力とし、RGBエンコーダを誘導する学習済み正規化フローを用いて、未知のRGBフレームを入力として取り込んで、動作遅延特徴を探索する。
次に、RGBエンコーダはマスク付きRGBフレームを入力として用いたマスクエンコーダをガイドし、潜伏した外観特徴を探索する。
さらに、シーン関連行動異常を検出するための行動シーンマッチングモジュール(BSMM)を設計する。
AUCは86.9 %, UB正規データセットは73.5 %であった。
コードはhttps://github.com/molu-ggg/GENet.comで入手できる。
関連論文リスト
- Continuous Memory Representation for Anomaly Detection [26.377109288326057]
CRADは「連続的」メモリ内の正常な特徴を表現するための新しい異常検出手法である。
MVTec ADデータセットを用いた評価では、CRADは、マルチクラス統一異常検出におけるエラーの65.0%を削減し、従来の最先端手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2024-02-28T12:38:44Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳(メタデータ) (2023-08-25T23:51:07Z) - CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient
Object Detection [144.66411561224507]
本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。
我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
論文 参考訳(メタデータ) (2022-10-06T11:59:19Z) - Self-Supervised Masked Convolutional Transformer Block for Anomaly
Detection [122.4894940892536]
本稿では, 自己監督型マスク型畳み込み変圧器ブロック (SSMCTB) について述べる。
本研究では,従来の自己教師型予測畳み込み抑止ブロック(SSPCAB)を3次元マスク付き畳み込み層,チャンネルワイドアテンション用トランスフォーマー,およびハマーロスに基づく新たな自己教師型目標を用いて拡張する。
論文 参考訳(メタデータ) (2022-09-25T04:56:10Z) - Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient
Object Detection [67.33924278729903]
本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。
視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。
5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
論文 参考訳(メタデータ) (2022-06-07T08:35:41Z) - Anomaly Detection with Prototype-Guided Discriminative Latent Embeddings [29.93983580779689]
本論文では,通常のデータの識別的プロトタイプを用いて映像フレームを再構築する異常検出手法を提案する。
このようにして、モデルは通常のイベントの再構築を支持し、異常なイベントの再構築を歪めます。
本手法の有効性を3つのベンチマークデータセットで評価し,提案手法が最先端を上回っていることを示す。
論文 参考訳(メタデータ) (2021-04-30T12:16:52Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳(メタデータ) (2020-07-17T18:35:24Z) - Complex Human Action Recognition in Live Videos Using Hybrid FR-DL
Method [1.027974860479791]
入力シーケンス中の代表フレームの自動選択により,前処理フェーズの課題に対処する。
本稿では,バックグラウンドサブトラクションとHOGを用いたハイブリッド手法を提案し,続いて深層ニューラルネットワークと骨格モデリング手法を適用した。
本稿では,このモデルをFR-DL(Feature Reduction & Deep Learning based action recognition method)と呼ぶ。
論文 参考訳(メタデータ) (2020-07-06T15:12:50Z) - UC-Net: Uncertainty Inspired RGB-D Saliency Detection via Conditional
Variational Autoencoders [81.5490760424213]
データラベリングプロセスから学習することで、RGB-Dサリエンシ検出に不確実性を利用するための第1のフレームワーク(UCNet)を提案する。
そこで本研究では,サリエンシデータラベリングにヒントを得て,確率的RGB-Dサリエンシ検出ネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-13T04:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。