論文の概要: PrismVAU: Prompt-Refined Inference System for Multimodal Video Anomaly Understanding

• arxiv url: http://arxiv.org/abs/2601.02927v1
• Date: Tue, 06 Jan 2026 11:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.906312
• Title: PrismVAU: Prompt-Refined Inference System for Multimodal Video Anomaly Understanding
• Title（参考訳）: PrismVAU:マルチモーダルビデオ異常理解のためのプロンプト修正推論システム
• Authors: Iñaki Erregue, Kamal Nasrollahi, Sergio Escalera,
• Abstract要約: ビデオ異常理解(VAU)は、従来のビデオ異常検出(VAD)を拡張し、それらのコンテキストを記述し、推論する。 既存のVAUアプローチは、細調整されたマルチモーダル言語モデル(MLLM)やビデオキャプタなどの外部モジュールに依存していることが多い。 実時間VAUのための軽量で効果的なシステムであるPrismVAUを導入し,1つのオフ・ザ・シェルフMLLMを用いて異常スコア,説明,迅速な最適化を行う。
• 参考スコア（独自算出の注目度）: 48.0087455344611
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video Anomaly Understanding (VAU) extends traditional Video Anomaly Detection (VAD) by not only localizing anomalies but also describing and reasoning about their context. Existing VAU approaches often rely on fine-tuned multimodal large language models (MLLMs) or external modules such as video captioners, which introduce costly annotations, complex training pipelines, and high inference overhead. In this work, we introduce PrismVAU, a lightweight yet effective system for real-time VAU that leverages a single off-the-shelf MLLM for anomaly scoring, explanation, and prompt optimization. PrismVAU operates in two complementary stages: (1) a coarse anomaly scoring module that computes frame-level anomaly scores via similarity to textual anchors, and (2) an MLLM-based refinement module that contextualizes anomalies through system and user prompts. Both textual anchors and prompts are optimized with a weakly supervised Automatic Prompt Engineering (APE) framework. Extensive experiments on standard VAD benchmarks demonstrate that PrismVAU delivers competitive detection performance and interpretable anomaly explanations -- without relying on instruction tuning, frame-level annotations, and external modules or dense processing -- making it an efficient and practical solution for real-world applications.
• Abstract（参考訳）: ビデオ異常理解(VAU)は、従来のビデオ異常検出(VAD)を拡張して、異常をローカライズするだけでなく、それらのコンテキストを記述し、推論する。 既存のVAUアプローチは、高コストのアノテーション、複雑なトレーニングパイプライン、高い推論オーバーヘッドを導入した、微調整されたマルチモーダル言語モデル(MLLM)やビデオキャプタなどの外部モジュールに依存していることが多い。 本研究では,1つのオフ・ザ・シェルフMLLMを応用した,リアルタイムVAUのための軽量かつ効果的なシステムであるPrismVAUを紹介する。 PrismVAU は,(1) フレームレベルの異常スコアをテキストアンカーと類似性で計算する粗い異常スコアモジュール,(2) MLLM ベースのリファインメントモジュールで,システムとユーザプロンプトによる異常の文脈化を行う。 テキストアンカーとプロンプトは、弱教師付き自動プロンプトエンジニアリング(APE)フレームワークで最適化されている。 標準的なVADベンチマークに関する大規模な実験によると、PrismVAUは、命令チューニング、フレームレベルのアノテーション、外部モジュールや高密度な処理に頼ることなく、競合検出のパフォーマンスと解釈可能な異常な説明を提供する。

関連論文リスト

• Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs [61.64185573373394]
  本稿では,MLLMの本質的不確かさをプロアクティブ誘導信号として用いた学習自由フレームワークを提案する。 応答不確実性によって候補の視覚入力をスコアする統一的なメカニズムを導入し、モデルが最も健全なデータに自律的にフォーカスできるようにする。 本研究は,本質的な不確実性を活用することが,細粒度マルチモーダル性能を高めるための強力で汎用的な戦略であることを実証する。
  論文  参考訳（メタデータ） (2025-10-01T09:20:51Z)
• HiProbe-VAD: Video Anomaly Detection via Hidden States Probing in Tuning-Free Multimodal LLMs [8.18063726177317]
  ビデオ異常検出(VAD)は、ビデオシーケンス内の通常のパターンから逸脱を識別し、特定することを目的としている。 本稿では,VADのための事前学習型マルチモーダル大言語モデル(MLLM)を,微調整を必要とせずに活用する新しいフレームワークであるHiProbe-VADを提案する。
  論文  参考訳（メタデータ） (2025-07-23T10:41:46Z)
• ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
  LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
  論文  参考訳（メタデータ） (2025-07-01T16:01:08Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• MemoryOut: Learning Principal Features via Multimodal Sparse Filtering Network for Semi-supervised Video Anomaly Detection [30.470777079947958]
  再構成や予測に基づくビデオ異常検出(VAD)手法は2つの重要な課題に直面している。 強い一般化能力は、しばしば正確な再構築や異常事象の予測をもたらす。 低レベルの外観と動きの手がかりにのみ依存することは、複雑なシーンから異常な出来事における高レベルの意味を識別する能力を制限する。
  論文  参考訳（メタデータ） (2025-06-03T07:14:57Z)
• Vad-R1: Towards Video Anomaly Reasoning via Perception-to-Cognition Chain-of-Thought [58.321044666612174]
  Vad-R1は、ビデオ異常推論のためのエンドツーエンドのMLLMベースのフレームワークである。 我々は、異常を認識する人間の過程をシミュレートするパーセプション・トゥ・コグニション・チェーン・オブ・ワット(P2C-CoT)を設計する。 また,MLLMの異常推論能力を明示的に動機付ける改良型強化学習アルゴリズムAVA-GRPOを提案する。
  論文  参考訳（メタデータ） (2025-05-26T12:05:16Z)
• Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs [83.24033574914425]
  視覚的問題解決に関わる知覚と推論のプロセスを切り離すために設計された革新的フレームワークであるPrismを提示する。 プリズムは、VLMを利用してテキスト形式で視覚情報を抽出・調音する知覚段階と、抽出された視覚情報に基づいて応答を定式化する推論段階と、2つの異なる段階から構成される。 私たちの分析フレームワークは、視覚言語タスクのコスト効率のよいソリューションとして、Prismの可能性について、いくつかの貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:54:03Z)
• Holmes-VAD: Towards Unbiased and Explainable Video Anomaly Detection via Multi-modal LLM [35.06386971859359]
  Holmes-VADは、正確な時間的監督と豊富なマルチモーダル命令を活用する新しいフレームワークである。 大規模なマルチモーダルVAD命令チューニングベンチマークであるVAD-Instruct50kを構築した。 VAD-Instruct50kデータセットに基づいて、解釈可能なビデオ異常検出のためのカスタマイズされたソリューションを開発する。
  論文  参考訳（メタデータ） (2024-06-18T03:19:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。