論文の概要: Text Prompt with Normality Guidance for Weakly Supervised Video Anomaly Detection

• arxiv url: http://arxiv.org/abs/2404.08531v1
• Date: Fri, 12 Apr 2024 15:18:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 14:37:30.587389
• Title: Text Prompt with Normality Guidance for Weakly Supervised Video Anomaly Detection
• Title（参考訳）: 弱教師付きビデオ異常検出のための正規化誘導型テキストプロンプト
• Authors: Zhiwei Yang, Jing Liu, Peng Wu,
• Abstract要約: 本稿では,WSVAD の正規性ガイダンス付き Text Prompt に基づく新しい擬似ラベル生成と自己学習フレームワークを提案する。 提案手法は,UCF-CrimeとXD-Violeの2つのベンチマークデータセットに対して,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 10.269746485037935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weakly supervised video anomaly detection (WSVAD) is a challenging task. Generating fine-grained pseudo-labels based on weak-label and then self-training a classifier is currently a promising solution. However, since the existing methods use only RGB visual modality and the utilization of category text information is neglected, thus limiting the generation of more accurate pseudo-labels and affecting the performance of self-training. Inspired by the manual labeling process based on the event description, in this paper, we propose a novel pseudo-label generation and self-training framework based on Text Prompt with Normality Guidance (TPWNG) for WSVAD. Our idea is to transfer the rich language-visual knowledge of the contrastive language-image pre-training (CLIP) model for aligning the video event description text and corresponding video frames to generate pseudo-labels. Specifically, We first fine-tune the CLIP for domain adaptation by designing two ranking losses and a distributional inconsistency loss. Further, we propose a learnable text prompt mechanism with the assist of a normality visual prompt to further improve the matching accuracy of video event description text and video frames. Then, we design a pseudo-label generation module based on the normality guidance to infer reliable frame-level pseudo-labels. Finally, we introduce a temporal context self-adaptive learning module to learn the temporal dependencies of different video events more flexibly and accurately. Extensive experiments show that our method achieves state-of-the-art performance on two benchmark datasets, UCF-Crime and XD-Viole
• Abstract（参考訳）: 弱教師付きビデオ異常検出(WSVAD)は難しい課題である。 弱いラベルに基づいてきめ細かな擬似ラベルを生成し、次に分類器を自己学習することは、現在有望な解決策である。 しかし、既存の手法ではRGBの視覚的モダリティしか使用せず、カテゴリテキスト情報の活用は無視されているため、より正確な擬似ラベルの生成が制限され、自己学習の性能に影響を及ぼす。 本稿では、イベント記述に基づく手動ラベリングプロセスに触発され、WSVADのためのテキスト・プロンプト(TPWNG)に基づく新しい擬似ラベル生成と自己学習フレームワークを提案する。 我々の考えは、ビデオイベント記述テキストと対応するビデオフレームを整列させて擬似ラベルを生成するために、コントラッシブ言語画像事前学習(CLIP)モデルのリッチ言語視覚知識を変換することである。 具体的には、まず2つのランク付け損失と分布不整合損失を設計し、ドメイン適応のためのCLIPを微調整する。 さらに、ビデオイベント記述テキストとビデオフレームのマッチング精度をさらに向上させるために、正規度視覚的プロンプトを補助する学習可能なテキストプロンプト機構を提案する。 そこで我々は,信頼度に基づく擬似ラベル生成モジュールを設計し,信頼度の高いフレームレベルの擬似ラベルを推論する。 最後に,ビデオイベントの時間的依存関係をより柔軟かつ正確に学習するための時間的文脈自己適応学習モジュールを提案する。 大規模実験により,UCF-CrimeとXD-Violeの2つのベンチマークデータセット上での最先端性能が得られた。

関連論文リスト

• Learning text-to-video retrieval from image captioning [59.81537951811595]
  本稿では,未収録ビデオを用いたテキスト・ビデオ検索訓練のプロトコルについて述べる。 i) ビデオのラベルにアクセスできず、(ii) テキスト形式でラベル付き画像にアクセスすると仮定する。 画像キャプションによるビデオフレームの自動ラベル付けにより,テキスト対ビデオ検索のトレーニングが可能になることを示す。
  論文  参考訳（メタデータ） (2024-04-26T15:56:08Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Videoprompter: an ensemble of foundational models for zero-shot video understanding [113.92958148574228]
  視覚言語モデル(VLM)は、視覚特徴とテキストベースのクラスラベル表現の類似点を計算することで、クエリビデオの分類を行う。 本稿では、事前学習されたディスクリミVLMと、事前学習された生成ビデオ・テキストモデルと、テキスト・テキストモデルを組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-23T19:45:46Z)
• Temporal Label-Refinement for Weakly-Supervised Audio-Visual Event Localization [0.0]
  AVEL(英: AVEL)とは、ビデオの中で同時に可視かつ可聴な事象を時間的に局所化し、分類するタスクである。 本稿では,ビデオレベルのイベントラベルのみをトレーニングの監督として利用できる弱教師付き環境でAVELを解く。 我々の考えは、ベースモデルを用いて、ビデオレベルよりも微妙な時間分解能でトレーニングデータのラベルを推定し、これらのラベルでモデルを再訓練することである。
  論文  参考訳（メタデータ） (2023-07-12T18:13:58Z)
• Query-based Video Summarization with Pseudo Label Supervision [19.229722872058055]
  手動でラベル付けされたクエリベースのビデオ要約のための既存のデータセットは、コストが高くて小さい。 セルフスーパービジョンは、プリテキストタスクを使用して、擬似ラベルで余分なデータを取得する方法を定義することで、データ空間の問題に対処することができる。 実験結果から,提案した映像要約アルゴリズムは最先端の性能を実現することがわかった。
  論文  参考訳（メタデータ） (2023-07-04T22:28:17Z)
• Weakly Supervised Video Representation Learning with Unaligned Text for Sequential Videos [39.42509966219001]
  本稿では,時間レベルのテキスト・ビデオの正確なアライメントが提供されないような逐次的ビデオ理解について検討する。 我々は、ビデオ表現のためのフレームレベルの特徴を集約するためにトランスフォーマーを使用し、事前訓練されたテキストエンコーダを使用して、各アクションとビデオ全体に対応するテキストをエンコードする。 ビデオシーケンス検証とテキスト・ツー・ビデオマッチングの実験により,本手法がベースラインをはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-22T08:13:25Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• Fine-grained Visual-Text Prompt-Driven Self-Training for Open-Vocabulary Object Detection [87.39089806069707]
  オープン語彙検出(VTP-OVD)のための微粒なビジュアルテキストプロンプト駆動型自己学習パラダイムを提案する。 適応段階では、学習可能なテキストプロンプトを用いて細粒度アライメントを可能とし、補助的なピクセルワイズ予測タスクを解決する。 実験の結果,COCO の未確認クラスでは,31.5% mAP など,オープン語彙オブジェクト検出の最先端性能が得られた。
  論文  参考訳（メタデータ） (2022-11-02T03:38:02Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。