論文の概要: From Detection to Understanding: TAR and TAR-Bench for Multi-Task Traffic Anomaly Reasoning
- arxiv url: http://arxiv.org/abs/2608.10317v1
- Date: Mon, 10 Aug 2026 23:40:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.849863
- Title: From Detection to Understanding: TAR and TAR-Bench for Multi-Task Traffic Anomaly Reasoning
- Title(参考訳): 検出から理解へ:マルチタスクトラフィック異常推論のためのTARとTAR-Bench
- Abstract要約: TAR(Traffic Anomaly Reasoning)とTAR-Benchは、ビデオ言語モデルのトレーニングと評価のためのデータセットである。
TARには、3670のCCTVビデオのために10のタスクで44,040のチェーンのトレーニングアノテーションが含まれている。
TAR-Benchには、公開ビデオ17本から切り離された80本のクリップのための960の人為的なテストアノテーションが含まれている。
- 参考スコア(独自算出の注目度): 20.845765598054093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present TAR (Traffic Anomaly Reasoning) and TAR-Bench datasets, resources for training and evaluating video-language models beyond anomaly detection. TAR contains 44,040 chain-of-thought training annotations across 10 tasks for 3,670 CCTV videos ($\sim$26 hours) from eight public datasets. Its evaluation component, TAR-Bench, contains 960 human-curated test annotations for 80 held-out clips trimmed from 17 public YouTube videos. TAR's training annotations are produced with MAVEN, which consolidates multi-scale video evidence into structured event descriptions before generating question-answer pairs and reasoning traces. On TAR-Bench, eleven vision-language models reveal that strong question-answering accuracy does not reliably predict temporal or scene reasoning ability. Multi-task fine-tuning on TAR yields consistent gains, with the full 10-task model improving aggregate score by 21.4 points over its zero-shot baseline. TAR and TAR-Bench provide the official training and in-domain evaluation data for AI City Challenge 2026 Track 3. The dataset is available at https://huggingface.co/datasets/nvidia/PhysicalAI-Traffic-Anomaly-Reasoning
- Abstract(参考訳): 本稿では,TAR(Traffic Anomaly Reasoning)およびTAR-Benchデータセットについて述べる。
TARには、10のタスクで44,040チェーンのトレーニングアノテーションがあり、8つの公開データセットから3,670のCCTVビデオ(\sim$26時間)が提供されている。
評価コンポーネントであるTAR-Benchには、公開YouTubeビデオ17本から切り離された80のホールドアウトクリップのための、960の人為的なテストアノテーションが含まれている。
TARのトレーニングアノテーションはMAVENで作成され、質問応答ペアと推論トレースを生成する前に、マルチスケールのビデオ証拠を構造化されたイベント記述に集約する。
TAR-Benchでは、11の視覚言語モデルにより、強い質問応答精度が時間的・場面的推論能力を確実に予測できないことが明らかになった。
TARのマルチタスク微調整は、ゼロショットベースラインで合計スコアを21.4ポイント改善した10タスクモデルで、一貫した利得を得る。
TARとTAR-Benchは、AIシティチャレンジ2026トラック3の公式トレーニングとドメイン内評価データを提供する。
データセットはhttps://huggingface.co/datasets/nvidia/PhysicalAI-Traffic-Anomaly-Reasoningで公開されている。
関連論文リスト
- TTA-Vid: Generalized Test-Time Adaptation for Video Reasoning [54.70019148172847]
テスト時強化学習(Test-Time Reinforcement Learning)のパラダイムをビデオ言語データに活用することにより,事前学習されたモデルを明示的なラベルなしで,テスト時のビデオサンプルに適応させることができる。
ビデオアプローチのためのテスト時間適応(TTA-Vid)は、同時に動作する2つのコンポーネントを組み合わせる。
TTA-Vidは、様々なビデオ推論タスクで一貫した改善をもたらし、大規模データで訓練された最先端の手法より優れている。
論文 参考訳(メタデータ) (2026-04-01T09:52:57Z) - Open-o3 Video: Grounded Video Reasoning with Explicit Spatio-Temporal Evidence [70.2803680525165]
我々は、明示的な証拠をビデオ推論に統合する非エージェントフレームワークであるOpen-o3 Videoを紹介した。
このモデルは、キーオブジェクトとバウンディングボックスをその答えとともに強調し、推論を具体的な視覚的な観察で基礎付けることができる。
V-STARベンチマークでは、Open-o3 Videoは最先端のパフォーマンスを達成し、mAMを14.4%、mLタイムスタンプを24.2%向上させた。
論文 参考訳(メタデータ) (2025-10-23T14:05:56Z) - TimeLoc: A Unified End-to-End Framework for Precise Timestamp Localization in Long Videos [50.04992164981131]
ビデオの時間的ローカライゼーションは、ビデオの理解には不可欠だが、それでも難しい。
このタスクは、時間的アクションローカライゼーション、時間的ビデオグラウンドニング、モーメント検索、ジェネリックイベント境界検出など、いくつかのサブタスクを含む。
複数のタスクを処理できるタイムスタンプローカライゼーションのための統合エンドツーエンドフレームワークであるTimeLocを提案する。
論文 参考訳(メタデータ) (2025-03-09T09:11:26Z) - HourVideo: 1-Hour Video-Language Understanding [34.90495038962066]
HourVideoは、時間単位のビデオ言語理解のためのベンチマークデータセットである。
HourVideoには、20分から120分の間、手動で編集されたエゴセントリックなビデオが500本含まれている。
ベンチマークの結果、GPT-4やLLaVA-NeXTを含むマルチモーダルモデルでは、ランダムな確率よりも限界的な改善が得られた。
論文 参考訳(メタデータ) (2024-11-07T18:59:16Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳(メタデータ) (2024-10-14T17:59:58Z) - E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding [57.630136434038384]
E.T. Bench (Event-Level & Time-Sensitive Video Understanding Benchmark)は、イベントレベルのオープンな理解のための大規模ベンチマークである。
ベンチマークでは,8つの画像-LLMと12個のビデオ-LLMを広範囲に評価し,その結果から,粗い(ビデオレベル)理解のための最先端モデルが,きめ細かなタスクの解決に苦慮していることが判明した。
私たちのシンプルだが効果的なソリューションは、複数のシナリオで優れたパフォーマンスを示します。
論文 参考訳(メタデータ) (2024-09-26T17:53:04Z) - ReXTime: A Benchmark Suite for Reasoning-Across-Time in Videos [24.502570960589182]
ReXTimeは、ビデオイベント内で時間的推論を実行するAIモデルの能力を厳格にテストするために設計されたベンチマークである。
時間的推論と問合せのペアを生成する自動パイプラインを開発する。
私たちのパイプラインは、手作業なしで9,695個のマシン生成サンプルのトレーニングデータセットを作成しています。
論文 参考訳(メタデータ) (2024-06-27T17:59:45Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳(メタデータ) (2023-05-23T07:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。