論文の概要: Reasoning-Guided Grounding: Elevating Video Anomaly Detection through Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2605.02912v1
- Date: Tue, 07 Apr 2026 20:15:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 06:56:26.512506
- Title: Reasoning-Guided Grounding: Elevating Video Anomaly Detection through Multimodal Large Language Models
- Title(参考訳): Reasoning-Guided Grounding:マルチモーダル大言語モデルによるビデオ異常検出の高次化
- Authors: Sakshi Agarwal, Aishik Konwer, Ankit Parag Shah,
- Abstract要約: ビデオ異常検出(VAD)は、伝統的にバイナリ分類または外れ値検出としてフレーム化されてきた。
本稿では,異常分類,空間的接地,思考の連鎖的推論を統一するフレームワークであるVANGUARDを提案する。
UCF-Crimeでは、VANGUARDは94%のROC-AUCを84%のF1で達成し、同時に解釈可能な連鎖説明と異常物体の空間的接地を生成する。
- 参考スコア(独自算出の注目度): 2.8529525624646492
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Video Anomaly Detection (VAD) has traditionally been framed as binary classification or outlier detection, providing neither interpretable reasoning nor precise spatial localization of anomalous events. While Vision-Language Models (VLMs) offer rich scene understanding, they struggle with reliable spatial grounding - often producing hallucinated or geometrically invalid bounding boxes when asked to localize objects. We propose VANGUARD (Video Anomaly Understanding through Reasoning and Grounding), a framework that unifies anomaly classification, spatial grounding, and chain-of-thought reasoning within a single VLM. VANGUARD introduces a three-stage curriculum that progressively layers training objectives: (1) classifier warmup on frozen backbone features, (2) LoRA-adapted spatial grounding, and (3) chain-of-thought generation. To overcome the sparse annotation typical of VAD benchmarks, we employ a teacher-student annotation pipeline in which a VLM (Qwen3-VL-4B) generates structured per-subclip reasoning trajectories based on manual annotations available from the UCA Dataset. Further, GroundingDINO provides bounding box supervision. On UCF-Crime, VANGUARD achieves 94% ROC-AUC with 84% F1 while simultaneously producing interpretable chain-of-thought explanations and spatial grounding of anomalous objects - capabilities absent from prior VAD methods. Ablations confirm that staged training outperforms monolithic optimization, and that structured reasoning acts as an implicit regularizer yielding more balanced predictions than classification-only fine-tuning. Zero-shot transfer to XD-Violence and ShanghaiTech demonstrates cross-domain generalization without target-domain adaptation.
- Abstract(参考訳): Video Anomaly Detection (VAD) は伝統的にバイナリ分類や外れ値検出(outlier detection)としてフレーム化されており、解釈可能な推論や異常事象の正確な空間的局在は提供されていない。
Vision-Language Models (VLM) はリッチなシーン理解を提供するが、それらは信頼性の高い空間的接地に苦しむ。
VANGUARD (Video Anomaly Understanding through Reasoning and Grounding) は,単一のVLM内での異常分類,空間的接地,思考の連鎖的推論を統一するフレームワークである。
VANGUARDは,(1)冷凍バックボーンの特徴の分類器ウォームアップ,(2)ロラ適応空間接地,(3)チェーン・オブ・ソート生成という3段階のカリキュラムを段階的に導入する。
VLM (Qwen3-VL-4B) が UCA データセットから利用可能な手動アノテーションに基づいてサブクリップ毎の推論軌跡を構造化した教師学習型アノテーションパイプラインを用いる。
さらに、GroundingDINOはバウンディングボックスの監督を提供する。
UCF-Crimeでは、VANGUARDは94%のROC-AUCを84%のF1で達成し、同時に解釈可能なチェーン・オブ・シントの説明と異常物体の空間的グラウンド(VAD法にはない能力)を生成する。
アブレーションは、ステージドトレーニングがモノリシックな最適化よりも優れており、構造化推論が暗黙の正則化器として機能し、分類のみの微調整よりもバランスのとれた予測をもたらすことを確認している。
XD-Violence と ShanghaiTech へのゼロショット転送は、ターゲットドメイン適応のないクロスドメイン一般化を実証する。
関連論文リスト
- Vision-Language Feature Alignment for Road Anomaly Segmentation [38.2615882515309]
本稿では,事前学習された視覚言語モデル(VLM)のセマンティクスを組み込んだ視覚言語異常セグメンテーションフレームワークを提案する。
具体的には,Mask2Formeの視覚的特徴を既知のカテゴリのCLIPテキスト埋め込みに適応させる,素早い学習駆動アライメントモジュールを設計する。
推論時に,テキスト誘導類似性,CLIPに基づく画像テキスト類似性,検出信頼度を統合したマルチソース推論戦略を導入する。
論文 参考訳(メタデータ) (2026-03-01T10:17:00Z) - A Unified Reasoning Framework for Holistic Zero-Shot Video Anomaly Analysis [64.42659342276117]
ビデオの異常な研究のほとんどは、フレームワイド検出で停止し、なぜイベントが異常なのかについての洞察はほとんど得られない。
近年の動画の局所化と映像の異常理解手法は、説明可能性を改善するが、データに依存し、タスク固有のままである。
本稿では,時間的検出,空間的局所化,テキスト的説明のギャップを埋める統一的推論フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-02T14:49:08Z) - VAGU & GtS: LLM-Based Benchmark and Framework for Joint Video Anomaly Grounding and Understanding [22.43740206690383]
ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定し、その時間間隔を正確に決定することを目的としている。
VAGUは、異常理解と接地を統合する最初のベンチマークである。
Glance then Scrutinize (GtS) はテキストプロンプトでガイドされるトレーニング不要のフレームワークである。
また,意味的解釈可能性と時間的精度を共同で評価するJeAUG指標を提案する。
論文 参考訳(メタデータ) (2025-07-29T05:17:48Z) - Crane: Context-Guided Prompt Learning and Attention Refinement for Zero-Shot Anomaly Detection [50.343419243749054]
異常検出は、医学診断や工業的欠陥検出などの分野において重要である。
CLIPの粗粒化画像テキストアライメントは、微粒化異常に対する局所化と検出性能を制限する。
クレーンは最先端のZSADを2%から28%に改善し、画像レベルとピクセルレベルの両方で、推論速度では競争力を維持している。
論文 参考訳(メタデータ) (2025-04-15T10:42:25Z) - Cyclic Contrastive Knowledge Transfer for Open-Vocabulary Object Detection [11.497620257835964]
我々は、余分な監督なしに訓練されたCCKT-Detを提案する。
提案フレームワークは,視覚言語モデル(VLM)から抽出した言語クエリと視覚領域の特徴から,循環的かつ動的に知識を伝達する。
CCKT-Detは、VLMの規模が大きくなるにつれて常に性能を向上させることができる。
論文 参考訳(メタデータ) (2025-03-14T02:04:28Z) - Unbiased Region-Language Alignment for Open-Vocabulary Dense Prediction [80.67150791183126]
事前訓練された視覚言語モデル(VLM)は、印象的なゼロショット認識能力を示したが、それでも高密度予測タスクでは性能が劣っている。
提案するDenseVLMは,非バイアスの領域言語アライメントを,強力な事前学習型VLM表現から学習するためのフレームワークである。
DenseVLMは、オープン語彙オブジェクト検出および画像分割法において、元のVLMを直接置き換えることができることを示す。
論文 参考訳(メタデータ) (2024-12-09T06:34:23Z) - Weakly Supervised Video Anomaly Detection and Localization with Spatio-Temporal Prompts [57.01985221057047]
本稿では、事前学習された視覚言語モデル(VLM)に基づく、弱教師付きビデオ異常検出および局所化のための時間的プロンプト埋め込み(WSVADL)を学習する新しい手法を提案する。
提案手法は,WSVADLタスクの3つの公開ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2024-08-12T03:31:29Z) - Grounded Entity-Landmark Adaptive Pre-training for Vision-and-Language
Navigation [23.94546957057613]
クロスモーダルアライメントはビジョン・アンド・ランゲージ・ナビゲーション(VLN)の鍵となる課題である
本稿では,VLNタスクの事前学習パラダイムとして,GELA(Gunded Entity-Landmark Adaptive)を提案する。
論文 参考訳(メタデータ) (2023-08-24T06:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。