論文の概要: TAU-Bench: From Anomaly Instance Tracking to Fine-Grained Video Anomaly Understanding

• arxiv url: http://arxiv.org/abs/2608.05699v1
• Date: Thu, 06 Aug 2026 07:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.843186
• Title: TAU-Bench: From Anomaly Instance Tracking to Fine-Grained Video Anomaly Understanding
• Title（参考訳）: TAU-Bench: Anomaly Instance Tracking から Fine-Grained Video Anomaly Understanding へ
• Abstract要約: ビデオ異常理解(VAU)は、同様の能力を持つモデルの実現を目指している。 TAU-Benchは、異常なインスタンス追跡と微粒な異常理解を評価するためのベンチマークである。 可塑性異常解釈を生成するモデルでは、正しいインスタンスを確実にローカライズして追跡できない可能性があることを示す。
• 参考スコア（独自算出の注目度）: 24.101948294850107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans understand anomalous events through a coherent perceptual process in which they identify the focal instance, follow its behavior as the event unfolds, and interpret why it violates the expectations of the surrounding scene. Video anomaly understanding (VAU) seeks to endow models with a similar capability, moving beyond deciding whether a video is anomalous toward explaining how the event develops and why it matters. Although recent vision--language models (VLMs) can generate detailed and plausible anomaly descriptions, their semantic fluency does not ensure that these interpretations remain grounded in the correct anomaly instance over time. Existing benchmarks typically evaluate tracking and semantic understanding through separate protocols, leaving such instance--semantic inconsistency largely unmeasured. We therefore introduce TAU-Bench, a track-centric benchmark for jointly evaluating anomaly instance tracking and fine-grained anomaly understanding. TAU-Bench contains 1,118 videos, 1,454 tracks, and 202,438 pixel-level masks spanning 49 event and 45 scene categories, together with track-centric annotations that connect instance-level identification, event-level understanding, and scene-level reasoning. To build TAU-Bench at scale, we developed an automated data engine integrating anomaly suitability filtering, anomaly instance track construction, hierarchical caption annotation, and human quality control. Evaluations across representative VLM families show that models producing plausible anomaly interpretations may still fail to localize and track the correct instance reliably, revealing a persistent gap between semantic reasoning and visual grounding. These findings therefore highlight instance-grounded evaluation as an important step toward more faithful and reliable VAU systems.
• Abstract（参考訳）: 人間は、コヒーレントな知覚過程を通じて異常な出来事を理解し、焦点のインスタンスを識別し、事象が展開するにつれてその振る舞いに従い、周囲のシーンの期待に反する理由を解釈する。 ビデオ異常理解(VAU)は、ビデオが異常かどうかを判断するだけでなく、イベントがどのように発展し、なぜ重要かを説明することを目指している。 近年の視覚言語モデル(VLM)は、詳細な、かつ、妥当な異常記述を生成できるが、それらの意味的流行は、これらの解釈が、時間とともに正しい異常なインスタンスに基礎を置いていることを保証するものではない。既存のベンチマークは、通常、個別のプロトコルを通して追跡と意味的理解を評価し、そのようなインスタンスのセマンティックな矛盾をほとんど未測定のまま残している。 そこで, TAU-Benchは, 異常追跡と微粒な異常理解を共同で評価するための, トラック中心のベンチマークである。 TAU-Benchには、49のイベントと45のシーンにまたがる1,118のビデオ、1,454のトラック、202,438のピクセルレベルのマスクと、インスタンスレベルの識別、イベントレベルの理解、シーンレベルの推論を接続するトラック中心のアノテーションが含まれている。 TAU-Benchを大規模に構築するために,異常適合度フィルタリング,異常事例追跡構築,階層的なキャプションアノテーション,品質管理を組み込んだ自動データエンジンを開発した。 代表的なVLMファミリー間での評価では、可塑性異常解釈を生成するモデルは、依然として正しいインスタンスを確実にローカライズし追跡することができず、セマンティック推論と視覚的グラウンドニングの間に永続的なギャップがあることが示されている。 これらの知見は、より忠実で信頼性の高いVAUシステムに向けた重要なステップとして、インスタンスグラウンド評価を強調している。

関連論文リスト

• What's the Catch? Evaluating Temporal Consistency in Vision-Language Models [0.11121828451787184]
  視覚言語モデル (VLM) はビデオや画像系列のベンチマークで高い性能を発揮するが、時間構造を捉えているかどうかは不明だ。 連続するフレームとフレームレベルの異常をガウス雑音に置き換えることで、時間的異常を発生させるTimeCatchを導入する。 評価の結果,フレームレベルと時間的異常検出との間にはかなりのギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-08-24T16:40:49Z)
• Structured Evidence Selection for Weakly Supervised Video Anomaly Detection [24.113971346791942]
  弱い教師付きビデオ異常検出は、トレーニングのためにビデオレベルのラベルにのみ依存する。 構造的推論プロセスとして異常検出を再構成する構造的証拠選択フレームワーク(SESAD)を提案する。 SESADは、クリップ表現を意味的に構造化された候補エビデンスに再編成し、シーンとアクションの制約の下でコンテキスト条件の選択を行う。
  論文  参考訳（メタデータ） (2026-07-11T13:01:01Z)
• Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
  大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。 これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
  論文  参考訳（メタデータ） (2026-05-09T14:32:36Z)
• Out of Context: Reliability in Multimodal Anomaly Detection Requires Contextual Inference [54.774686416991386]
  我々は、マルチモーダルな異常検出は、クロスモーダルな文脈推論問題として再編成されるべきであると主張している。 この観点はモデル設計、評価プロトコル、ベンチマーク構築に影響を及ぼす。
  論文  参考訳（メタデータ） (2026-04-14T19:32:55Z)
• Weakly Supervised Video Anomaly Detection with Anomaly-Connected Components and Intention Reasoning [23.043341269626016]
  本稿では,WS-VAD のための Anomaly Semantics を学習するための LAS-VAD という新しいフレームワークを提案する。 本フレームワークは,異常接続されたコンポーネント機構と意図認識機構を統合している。 最先端の手法よりも優れており、顕著な利得がある。
  論文  参考訳（メタデータ） (2026-02-28T08:57:33Z)
• VADER: Towards Causal Video Anomaly Understanding with Relation-Aware Large Language Models [29.213430569936943]
  ビデオ異常検出のためのLLM駆動型フレームワークであるVADERを提案する。 VADERは、ビデオからの異常な理解を強化するために、オブジェクト機能と視覚的手がかりを統合する。 複数の実世界のVAUベンチマークの実験では、VADERは異常記述、説明、因果推論タスクにまたがって強い結果が得られることを示した。
  論文  参考訳（メタデータ） (2025-11-10T16:56:11Z)
• A Unified Reasoning Framework for Holistic Zero-Shot Video Anomaly Analysis [64.42659342276117]
  ビデオの異常な研究のほとんどは、フレームワイド検出で停止し、なぜイベントが異常なのかについての洞察はほとんど得られない。 近年の動画の局所化と映像の異常理解手法は、説明可能性を改善するが、データに依存し、タスク固有のままである。 本稿では,時間的検出,空間的局所化,テキスト的説明のギャップを埋める統一的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-02T14:49:08Z)
• CueBench: Advancing Unified Understanding of Context-Aware Video Anomalies in Real-World [23.48765196513229]
  我々はCueBenchを紹介した。CueBenchは、コンテキスト対応ビデオ異常に特化しているBenchmarkの最初のものだ。 本稿では,認識,時間的接地,検出,予測など,さまざまな課題を伴うコンテキスト対応VAUの統一とベンチマークを提案する。 さらに,R1-style reinforcement fine-tuning に基づく Cue-R1 の開発を行った。
  論文  参考訳（メタデータ） (2025-11-01T16:29:35Z)
• Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images [96.43608872116347]
  AnomReasonは4倍のtextbfAnomAgentのような構造化アノテーションを備えた大規模ベンチマーク AnomReasonとAnomAgentは、AI生成画像の意味的妥当性の測定と改善の基盤となっている。
  論文  参考訳（メタデータ） (2025-10-11T14:09:24Z)
• Exploring What Why and How: A Multifaceted Benchmark for Causation Understanding of Video Anomaly [12.896651217314744]
  ビデオ異常の因果関係(ECVA)の探索のためのベンチマークを導入する。 私たちのベンチマークは慎重に設計されており、各ビデオには詳細な人間のアノテーションが添付されています。 本研究では,ECVAのヒト判定基準と密接に整合する特化評価指標であるAnomEvalを提案する。
  論文  参考訳（メタデータ） (2024-12-10T04:41:44Z)
• VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
  VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。 我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。 我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:01Z)
• Learn Suspected Anomalies from Event Prompts for Video Anomaly Detection [16.77262005540559]
  イベントプロンプトから疑わしい異常の学習を導くための新しい枠組みが提案されている。 これにより、新しいマルチプロンプト学習プロセスにより、すべてのビデオの視覚的セマンティックな特徴を制限できる。 提案手法はAPやAUCといった最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-03-02T10:42:47Z)
• A Background-Agnostic Framework with Adversarial Training for Abnormal Event Detection in Video [120.18562044084678]
  近年,ビデオにおける異常事象検出は複雑なコンピュータビジョンの問題として注目されている。 通常のイベントのみを含むトレーニングビデオから学習するバックグラウンドに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-27T18:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。